第 2 章 vLLM 服务器使用

vllm [-h] [-v] {chat,complete,serve,bench,collect-env,run-batch}

$ vllm [-h] [-v] {chat,complete,serve,bench,collect-env,run-batch}

Copy to Clipboard

Toggle word wrap

2.1. vllm chat 参数
复制链接

使用正在运行的 API 服务器生成 chat 完成。

vllm chat [options]

$ vllm chat [options]

Copy to Clipboard

Toggle word wrap

--api-key API_KEY

OpenAI API 密钥。如果提供，此 API 密钥会覆盖环境变量中设置的 API 密钥。

默认： None

--model-name MODEL_NAME

提示完成中使用的模型名称，默认为列表模型 API 调用中的第一个模型。

默认： None

--system-prompt SYSTEM_PROMPT

要添加到 chat 模板的系统提示，用于支持系统提示的型号。

默认： None

--url URL

正在运行的 OpenAI 兼容 RESTful API 服务器的 URL

-q MESSAGE, --quick MESSAGE

以 MESSAGE 身份发送单个提示，并打印响应，然后退出。

默认： None