怎么把 options 参数写入openAI模式的大模型调用里？

blackantt

原始命令如下：

API

curl http://localhost:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'


CLI

ollama run llama3-gradient
>>> /set parameter num_ctx 256000

我用下面的调用，但是不对
from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
   
)

def chat(question):
    response = client.chat.completions.create(
    # model="llama3:8b-instruct-q8_0",
    model="llama3-gradient",
    options=[{"num_ctx": 256000}],
   
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": question}
    ]
    )
    reply = response.choices[0].message.content
    return reply

question = """who are you?"""
print(chat(question))

不二如是

在 OpenAI API 调用中设置 options 参数的方法有所不同，具体取决于库的实现方式。

鱼油的代码在定义 options 时是存在问题哦～

正确的用法应该是将 options 作为一个字典传递，而不是一个包含字典的列表。

from openai import OpenAI

client = OpenAI(
    base_url='http://localhost:11434/v1',
    api_key='ollama',  # required, but unused
)

def chat(question):
    response = client.chat.completions.create(
        model="llama3-gradient",
        options={"num_ctx": 256000},  # options should be a dictionary
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": question}
        ]
    )
    reply = response.choices[0].message.content
    return reply

question = """who are you?"""
print(chat(question))

注意：

• 1. options 参数应该是一个字典而不是一个列表。
• 2. 确保 num_ctx 参数被正确地包含在 options 字典中。
  

这样就可以写入 OpenAI 后调用 options 中的参数

blackantt

不二如是 发表于 2024-5-17 18:41
在 OpenAI API 调用中设置 options 参数的方法有所不同，具体取决于库的实现方式。

鱼油的代码在定义 op ...

TypeError: Completions.create() got an unexpected keyword argument 'options'

isdkz

llama 模型不应该用 openai 库吧

blackantt

isdkz 发表于 2024-5-17 22:52
llama 模型不应该用 openai 库吧

反正这个程序是能用的，关键就是怎么把  长文本参数在Python里传进去。 命令行下
ollama run llama3-gradient
>>> /set parameter num_ctx 256000
这么传。

curl下
curl http://localhost:11434/api/generate -d '{
  "model": "llama3-gradient",
  "prompt": "Why is the sky blue?",
  "options": {
    "num_ctx": 256000
  }
}'

isdkz

blackantt 发表于 2024-5-17 23:17
反正这个程序是能用的，关键就是怎么把  长文本参数在Python里传进去。 命令行下
ollama run llama3-g ...

满足 openai 的 api 调用规范就能用 openai 库，你这个搭建在 11434 端口的是什么项目？

blackantt

isdkz 发表于 2024-5-18 00:28
满足 openai 的 api 调用规范就能用 openai 库，你这个搭建在 11434 端口的是什么项目？

llama3-gradient
https://ollama.com/library/llama3-gradient

isdkz

blackantt 发表于 2024-5-18 06:58
llama3-gradient
https://ollama.com/library/llama3-gradient

你可以试试 one-api 这个项目，可以将 ollama  api 转成 openai 的 api 规范

blackantt

ok