はじめに

Red Hat AI Inference Server は、推論サービング用に OpenAI 互換 API サーバーを提供します。引数を使用して、サーバーの動作を制御できます。

このドキュメントではまず、vllm serve コマンドで使用する最も重要なサーバー引数のリストを紹介します。vllm serve 引数、環境変数、サーバーメトリクスの完全なリストも提供されます。