2.6. vllm run-batch 参数

禁用日志记录请求。

默认 ：False

禁用日志记录统计信息。

默认 ：False

启用 Prometheus 指标。

默认 ：False

当设置为 True 时，启用 prompt_tokens_details 用量。

默认 ：False

日志中打印的最大提示字符数或提示 ID 号。

默认 ： unlimited

要存储输出文件的目录，然后上传到输出 URL。

默认 ： None

Prometheus 指标服务器的端口号。仅在设置 enable-metrics 时才需要。

默认 ： 8000

如果 request.add_generation_prompt=True 则返回的角色名称。

默认 助手

Prometheus 指标服务器 URL。仅在设置了 enable-metrics 时才需要。

默认 ： 0.0.0.0

弃用。块管理器 v1 已被删除。SelfAttnBlockSpaceManager （块管理器 v2）现在是默认的。将 --use-v2-block-manager 标志设置为 True 或 False 对 vLLM 行为没有影响。

默认 ：True

单个输入文件的路径或 URL。支持本地文件路径和 HTTP 或 HTTPS。如果指定了 URL，则该文件应该可使用 HTTP GET 可用。

默认 ： None

单个输出文件的路径或 URL。支持本地文件路径和 HTTP 或 HTTPS。如果指定了 URL，则该文件应当可使用 HTTP PUT 可用。

默认 ： None