2.2. vllm chat 参数
使用正在运行的 API 服务器生成 chat 完成。
vllm chat [options]
$ vllm chat [options]
- --api-key API_KEY
OpenAI API 密钥。如果提供,此 API 密钥会覆盖环境变量中设置的 API 密钥。
默认 : None
- --model-name MODEL_NAME
提示完成中使用的模型名称,默认为列表模型 API 调用中的第一个模型。
默认 : None
- --system-prompt SYSTEM_PROMPT
要添加到 chat 模板的系统提示,用于支持系统提示的型号。
默认 : None
- --url URL
正在运行的 OpenAI 兼容 RESTful API 服务器的 URL
默认:
http://localhost:8000/v1
- -q MESSAGE, --quick MESSAGE
以
MESSAGE
身份发送单个提示,并打印响应,然后退出。默认 : None