2.3. vllm complete 参数

根据给定的提示，通过正在运行的 API 服务器生成文本完成。

vllm complete [options]

$ vllm complete [options]

Copy to Clipboard

Toggle word wrap

--api-key API_KEY

OpenAI 服务的 API 密钥。如果提供，此 API 密钥会覆盖环境变量中设置的 API 密钥。

默认： None

--model-name MODEL_NAME

提示完成中使用的模型名称，默认为列表模型 API 调用中的第一个模型。

默认： None

--url URL

正在运行的 OpenAI 兼容 RESTful API 服务器的 URL

默认:http://localhost:8000/v1

-Q PROMPT, --quick PROMPT

发送单个提示并打印完成输出，然后退出。

默认： None

返回顶部

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。了解我们当前的更新.

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。