2.2. vllm chat 参数

使用正在运行的 API 服务器生成 chat 完成。

vllm chat [options]

$ vllm chat [options]

Copy to Clipboard

Toggle word wrap

--api-key API_KEY

OpenAI API 密钥。如果提供，此 API 密钥会覆盖环境变量中设置的 API 密钥。

默认： None

--model-name MODEL_NAME

提示完成中使用的模型名称，默认为列表模型 API 调用中的第一个模型。

默认： None

--system-prompt SYSTEM_PROMPT

要添加到 chat 模板的系统提示，用于支持系统提示的型号。

默认： None

--url URL

正在运行的 OpenAI 兼容 RESTful API 服务器的 URL

默认:http://localhost:8000/v1

-q MESSAGE, --quick MESSAGE

以 MESSAGE 身份发送单个提示，并打印响应，然后退出。

默认： None

返回顶部