前言

Red Hat AI Inference Server 为 inference 服务提供 OpenAI 兼容 API 服务器。您可以使用参数控制服务器的行为。

本文档以 vllm serving 命令使用的最重要的服务器参数列表开始。另外还提供了 vllm 服务 参数、环境变量、服务器指标的完整列表。