python怎么把超限长文本通过api发给chatgpt3.5去合并处理？

blackantt

python怎么把超限长文本通过api发给chatgpt3.5去合并处理？

FishC

要将超过ChatGPT 3.5模型限制的长文本发送到API进行处理，您需要按照API的要求对文本进行分割，并通过多个请求来逐段发送。以下是一种实现方法：

首先，确定ChatGPT 3.5模型对文本长度的限制。假设限制是2048个字符。

然后，将超长文本分割成小段，每段都不超过2048个字符。可以使用句号、换行符等作为分割标志，确保分割段落时不会影响语义完整性。

接下来，准备发送API请求的代码。您可以使用Python中的`requests`库来发送HTTP请求。确保您已经获得了API的授权密钥和相关信息。

下面是一个示例代码：

1. import requests
   
2. 
   
3. def send_to_chatgpt3(text):
   
4.     url = "API的URL"
   
5.     headers = {"Authorization": "密钥信息"}
   
6. 
   
7.     response = requests.post(url, headers=headers, json={"text": text})
   
8.     result = response.json()
   
9. 
   
10.     return result
    
11. 
    
12. def merge_text(long_text):
    
13.     segments = []
    
14.     current_segment = ""
    
15. 
    
16.     for sentence in long_text.split("."):
    
17.         if len(current_segment + sentence) > 2048:
    
18.             segments.append(current_segment.strip())
    
19.             current_segment = ""
    
20. 
    
21.         current_segment += sentence + ". "
    
22. 
    
23.     if current_segment:
    
24.         segments.append(current_segment.strip())
    
25. 
    
26.     merged_result = ""
    
27. 
    
28.     for segment in segments:
    
29.         response = send_to_chatgpt3(segment)
    
30.         merged_result += response["result"]
    
31. 
    
32.     return merged_result

复制代码

在上述示例中，`send_to_chatgpt3()`函数负责发送单个文本段落给ChatGPT 3.5的API，并返回处理结果。`merge_text()`函数将长文本分割成可接受的短段落，并依次发送，最后将处理结果合并返回。

请记住，由于ChatGPT 3.5的API调用可能会产生费用，您需要在使用之前了解并遵守API提供商的收费政策。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

blackantt

能把超长文本功能合并到这个代码里吗？
from openai import OpenAI

client = OpenAI(
    base_url = 'https://api.chatany.tech/v1',
    api_key = "sk-loHrzSP2KEPOWUVFE5KeARwjTpSbSzKguMQYjIxFZ2xv"      # 设置你的 API 密钥
)

def chat(question):
    response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": question}
    ]
    )
    reply = response.choices[0].message.content
    return reply

question = """请给下面的文本加上标点：
hey thank you so much for clicking on this video my name is Olivia and I'm a gender affirming voice teacher if you're working on voice training ]
"""

reply = chat(question)


print("你：", question)
print("GPT：", reply)

FishC

blackantt 发表于 2024-04-16 15:49
能把超长文本功能合并到这个代码里吗？
from openai  ...

当然可以将超长文本的功能合并到您提供的代码中。请注意，您提供的代码使用了CHAT API的另一个库，而非requests库。因此，您需要根据OpenAI库的文档，找到相应的方法来发送多个请求以处理超长文本。以下是将超长文本功能合并到代码中的示例：

1. from openai import OpenAI
   
2. 
   
3. client = OpenAI(
   
4.     base_url='https://api.chatany.tech/v1',
   
5.     api_key="sk-loHrzSP2KEPOWUVFE5KeARwjTpSbSzKguMQYjIxFZ2xv"  # 设置你的 API 密钥
   
6. )
   
7. 
   
8. def send_to_chatgpt3(text):
   
9.     response = client.chat.completions.create(
   
10.         model="gpt-3.5-turbo",
    
11.         messages=[{"role": "system", "content": "You:"}, {"role": "user", "content": text}]
    
12.     )
    
13.     reply = response.choices[0].message.content
    
14.     return reply
    
15. 
    
16. def merge_text(long_text):
    
17.     segments = []
    
18.     current_segment = ""
    
19.     for sentence in long_text.split("."):
    
20.         if len(current_segment + sentence) > 2048:
    
21.             segments.append(current_segment.strip())
    
22.             current_segment = ""
    
23.         current_segment += sentence + ". "
    
24.    
    
25.     if current_segment:
    
26.         segments.append(current_segment.strip())
    
27.    
    
28.     merged_result = ""
    
29.     for segment in segments:
    
30.         response = send_to_chatgpt3(segment)
    
31.         merged_result += response
    
32.    
    
33.     return merged_result
    
34. 
    
35. question = """请给下面的文本加上标点：hey thank you so much for clicking on this video my name is Olivia and I'm a gender affirming voice teacher if you're working on voice training"""
    
36. reply = merge_text(question)
    
37. 
    
38. print("你：", question)
    
39. print("GPT：", reply)

复制代码

在上述示例中，`send_to_chatgpt3()`函数负责调用库的CHAT API发送单个文本段落给ChatGPT 3.5模型，并返回处理结果。`merge_text()`函数用于将超长文本分割为可接受的短段落，并依次发送处理，并将最终结果合并返回。

请确保您已正确导入所需的库，并且已正确配置API密钥和URL。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。