第2章 vLLM サーバーの使用

ヘッドレスモードで実行します。詳細は、マルチノードデータ並列のドキュメントを参照してください。

デフォルト: False

実行する API サーバープロセスの数。

デフォルト: 1

設定ファイルから CLI オプションを読み取ります。https://docs.vllm.ai/en/latest/configuration/serve_args.html のオプションを含む YAML である必要があります。

デフォルト: None

統計のログ記録を無効にします。

デフォルト: False

ログ要求を有効にします。

デフォルト: False

ログ要求を無効にします。

デフォルト: True

ホスト名。

デフォルト: None

ポート番号

デフォルト: 8000

Unix ドメインソケットパス。設定されている場合、ホストおよびポート引数は無視されます。

デフォルト: None

使用可能な選択肢: critical、debug、error、info、trace、warning

uvicorn のログレベル。

デフォルト: info

uvicorn アクセスログを無効にします。

デフォルト: False

認証情報を許可します。

デフォルト: False

使用可能なオリジン。

デフォルト: ['*']

使用可能なメソッド。

デフォルト: ['*']

使用可能なヘッダー。

デフォルト: ['*']

指定すると、サーバーはこのキーの 1 つをヘッダーに提示する必要があります。

デフォルト: None

LoRA モジュール設定は、'name=path' 形式、JSON 形式、または JSON リスト形式のいずれかです。例 (古い形式): 'name=path'、例 (新しい形式): {"name": "name", "path": "lora_path", "base_model_name": "id"}

デフォルト: None

チャットテンプレートへのファイルパス、または指定されたモデルの単一行形式のテンプレート。

デフォルト: None

使用可能な選択肢: auto、openai、string

チャットテンプレート内でメッセージコンテンツをレンダリングする形式。

デフォルト: auto

リクエストで渡されたチャットテンプレートを信頼するかどうか。False の場合、サーバーは常に --chat-template で指定されたチャットテンプレートまたはトークナイザーのチャットテンプレートを使用します。

デフォルト: False

request.add_generation_prompt=true の場合に返されるロール名。

デフォルト: assistant

SSL キーファイルへのファイルパス。

デフォルト: None

SSL 証明書ファイルへのファイルパス。

デフォルト: None

CA 証明書ファイル。

デフォルト: None

SSL 証明書ファイルが変更されたときに SSL コンテキストを更新します。

デフォルト: False

クライアント証明書が必要かどうか (stdlib ssl モジュールを参照)。

デフォルト: 0

アプリケーションがパスベースのルーティングプロキシーの背後にある場合の FastAPI root_path。

デフォルト: None

アプリケーションに適用する追加の ASGI ミドルウェア。複数の --middleware 引数を受け入れます。値はインポートパスである必要があります。関数が提供されている場合、vLLM は @app.middleware('http') を使用してそれをサーバーに追加します。クラスが提供されている場合、vLLM は app.add_middleware() を使用してそれをサーバーに追加します。

デフォルト: []

--max-logprobs が指定された場合は、単一のトークンを 'token_id:{token_id}' 形式の文字列として表し、JSON でエンコードできないトークンを識別できるようにします。

デフォルト: False

指定すると、モデルサービングエンジンと同じプロセスで OpenAI フロントエンドサーバーが実行されます。

デフォルト: False

指定すると、API サーバーは応答に X-Request-Id ヘッダーを追加します。

デフォルト: False

サポートされているモデルに対して自動ツール選択を有効にします。使用するパーサーを指定するには --tool-call-parser を使用します。

デフォルト: False

指定すると、tool_choice='none' の場合にプロンプトでツール定義を除外します。

デフォルト: False

使用しているモデルに応じてツール呼び出しパーサーを選択します。これは、モデルによって生成されたツール呼び出しを OpenAI API 形式に解析するために使用されます。--enable-auto-tool-choice に必須です。組み込みのパーサーから任意のオプションを選択することも、--tool-parser-plugin 経由でプラグインを登録することもできます。

デフォルト: None

モデルが生成したツールを OpenAI API 形式に変換するために書かれたツールパーサープラグインを指定します。このプラグインの名前レジスターは --tool-call-parser で使用できます。

デフォルト: ``

ホスト: ポートのペア (IPv4、IPv6、またはホスト名) のコンマ区切りリスト。例: 127.0.0.1:8000、[::1]:8000、localhost:1234。またはデモ目的の場合は demo です。

デフォルト: None

vllm と uvicorn の両方のログ設定 JSON ファイルへのパス

デフォルト: None

ログに出力されるプロンプト文字またはプロンプト ID 番号の最大数。デフォルトの None は無制限を意味します。

デフォルト: None

FastAPI の OpenAPI スキーマ、Swagger UI、および ReDoc エンドポイントを無効にします。

デフォルト: False

True に設定すると、prompt_tokens_details の使用が有効になります。

デフォルト: False

True に設定すると、アプリケーション状態 (管理) で server_load_metrics 追跡が有効になります。

デフォルト: False

True に設定すると、すべてのリクエストでの使用量が含まれます。

デフォルト: False

/get_tokenizer_info エンドポイントを有効にします。チャットテンプレートやその他のトークナイザー設定が公開される可能性があります。

デフォルト: False

True の場合、モデル出力 (生成結果) をログに記録します。--enable-log-requests が必要です。

デフォルト: False

h11 パーサーの不完全な HTTP イベント (ヘッダーまたは本文) の最大サイズ (バイト)。ヘッダーの不正使用を軽減するのに役立ちます。

デフォルト: 4194304 (4 MB)

h11 パーサーのリクエストで許可される HTTP ヘッダーの最大数。ヘッダーの不正使用を軽減するのに役立ちます。

デフォルト: 256

True に設定すると、エラー応答のスタックトレースをログに記録します。

デフォルト: False

使用する Hugging Face モデルの名前またはパス。また、served_model_name が指定されていない場合、メトリクス出力の model_name タグの内容としても使用されます。

デフォルト: Qwen/Qwen3-0.6B

使用可能な選択肢: auto、draft、generate、pooling

使用するモデルランナーのタイプ。各 vLLM インスタンスは、同じモデルを複数のタイプに使用できる場合でも、1 つのモデルランナーのみをサポートします。

デフォルト: auto

使用可能な選択肢: auto、classify、embed、none、reward

[vllm.model_executor.models.adapters][] で定義されたアダプターを使用してモデルを変換します。最も一般的な使用例は、プーリングタスクに使用するテキスト生成モデルを適応させることです。

デフォルト: auto

使用可能な選択肢: auto、classify、draft、embed、embedding、generate、reward、score、transcription、None

モデルを使用するタスク。モデルが複数のモデルランナーをサポートしている場合、これを使用して実行するモデルランナーを選択します。

モデルは、同じモデルランナーを使用して他のタスクをサポートする場合があることに注意してください。

デフォルト: None

使用する Hugging Face トークナイザーの名前またはパス。指定しない場合は、モデル名またはパスが使用されます。

デフォルト: None

使用可能な選択肢: auto、custom、mistral、slow

Tokenizer モード:

デフォルト: auto

モデルとトークナイザーをダウンロードするときは、リモートコード (例: HuggingFace から) を信頼します。

デフォルト: False

使用可能な選択肢: auto、bfloat16、float、float16、float32、half

モデルの重みとアクティベーションのデータ型。

デフォルト: auto

再現性のためのランダムシード。V0 では None に初期化されますが、V1 では 0 に初期化されます。

デフォルト: None

使用する Hugging Face 設定の名前またはパス。指定しない場合は、モデル名またはパスが使用されます。

デフォルト: None

API リクエストがサーバーファイルシステムで指定されたディレクトリーからローカルイメージまたはビデオを読み取ることを許可します。これはセキュリティー上のリスクです。信頼できる環境でのみ有効にする必要があります。

デフォルト: ``

設定されている場合、このドメインに属するメディア URL のみがマルチモーダル入力に使用できます。

デフォルト: None

使用する特定のモデルバージョン。ブランチ名、タグ名、またはコミット ID を指定できます。指定しない場合は、デフォルトのバージョンが使用されます。

デフォルト: None

Hugging Face Hub のモデルコードに使用する特定のリビジョン。ブランチ名、タグ名、またはコミット ID を指定できます。指定しない場合は、デフォルトのバージョンが使用されます。

デフォルト: None

RoPE スケーリング設定。例: {"rope_type":"dynamic","factor":2.0}。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: {}

RoPE シータ。rope_scaling で使用します。場合によっては、RoPE シータを変更すると、スケールモデルのパフォーマンスが向上します。

デフォルト: None

Hugging Face Hub のトークナイザーに使用する特定のリビジョン。ブランチ名、タグ名、またはコミット ID を指定できます。指定しない場合は、デフォルトのバージョンが使用されます。

デフォルト: None

モデルコンテキストの長さ (プロンプトと出力)。指定されていない場合は、モデル設定から自動的に派生されます。

--max-model-len 経由で渡す場合、人間が読める形式の k/m/g/K/M/G をサポートします。例:

'1k'、'2M' などの人間が読める整数を解析します。小数値を小数乗数とともに含めます。

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

デフォルト: None

重みを量子化するために使用される方法。None の場合は、まずモデル設定ファイルの quantization_config 属性を確認します。None の場合、モデルの重みは量子化されていないと想定し、dtype を使用して重みのデータ型を決定します。

デフォルト: None

常に eager-mode の PyTorch を使用するかどうか。True の場合、CUDA グラフを無効にして、常に eager モードでモデルを実行します。False の場合、パフォーマンスと柔軟性を最大化するために、CUDA グラフとハイブリッドの eager 実行を使用します。

デフォルト: False

SamplingParams で logprobs が指定された場合に返される対数確率の最大数。デフォルト値は、OpenAI Chat Completions API のデフォルトです。-1 は上限がないことを意味します。つまり、すべての (output_length * vocab_size) logprob を返すことができ、OOM が発生する可能性があります。

デフォルト: 20

使用可能な選択肢: processed_logits、processed_logprobs、raw_logits、raw_logprobs

logprobs および prompt_logprobs で返されるコンテンツを示します。サポートされているモード: 1) raw_logprobs、2) processed_logprobs、3) raw_logits、4) processed_logits。Raw とは、不適切な単語を処理するようなロジットプロセッサーを、適用する前の値を指します。Processed とは、温度や top_k/top_p など、すべてのプロセッサーを適用した後の値を意味します。

デフォルト: raw_logprobs

スライディングウィンドウを無効にするかどうか。True の場合、モデルのスライディングウィンドウ機能が無効になり、スライディングウィンドウのサイズが上限になります。モデルがスライディングウィンドウをサポートしていない場合、この引数は無視されます。

デフォルト: False

V1 のカスケードアテンションを無効にします。カスケードアテンションは数学的な正確性を確保します。ただし、これを無効にすると、数値的な問題が発生する可能性を回避するのに役立ちます。これを False に設定しても、カスケードアテンションはヒューリスティックによって有益であると判断された場合にのみ使用されることに注意してください。

デフォルト: False

tokenizer および detokenizer の初期化をスキップします。入力には、有効な prompt_token_ids が含まれており、prompt は None である必要があります。生成された出力には、トークン ID が含まれます。

デフォルト: False

True の場合、prompt_embeds キーを介してテキスト埋め込みを入力として渡すことができます。これを有効にすると、グラフのコンパイルに必要な時間が 2 倍になることに注意してください。

デフォルト: False

API で使用されるモデル名。複数の名前が指定された場合、サーバーは指定された名前のいずれかに応答します。応答のモデルフィールド内のモデル名は、このリストの最初の名前です。指定されていない場合、モデル名は --model 引数と同じになります。この名前は、Prometheus メトリクスの model_name タグの内容でも使用されることに注意してください。複数の名前が指定されている場合、メトリクスタグは最初の名前を取得します。

デフォルト: None

使用可能な選択肢: auto、hf、mistral

ロードするモデル設定の形式。

デフォルト: auto

リモートファイルの HTTP ベアラー認可として使用するトークン。True の場合、huggingface-cli login の実行時に生成されたトークン (~/.huggingface に保存) を使用します。

デフォルト: None

ディクショナリーの場合は、Hugging Face 設定に転送される引数が含まれます。呼び出し可能な場合は、HuggingFace 設定を更新するために呼び出されます。

デフォルト: {}

プーリングモデルでの出力プーリングの動作を制御するプーラー設定。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

代わりに pooler_config を使用してください。このフィールドは、v0.12.0 または v1.0.0 のうち先に到達したバージョンで削除されます。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

有効な logits プロセッサー修飾名を指定するオプションの正規表現パターンで、logits_processors 追加補完引数で渡すことができます。デフォルトは None で、プロセッサーは使用できません。

デフォルト: None

生成設定へのフォルダーパス。デフォルトは "auto" で、生成設定はモデルパスから読み込まれます。"vllm" に設定すると、生成設定はロードされず、vLLM のデフォルトが使用されます。フォルダーパスに設定すると、指定されたフォルダーパスから生成設定が読み込まれます。生成設定で max_new_tokens が指定されている場合は、すべてのリクエストの出力トークンの数にサーバー全体の制限が設定されます。

デフォルト: auto

生成設定をオーバーライドし、(ない場合は) 設定します。たとえば、{"temperature": 0.5}。--generation-config auto と使用すると、オーバーライドパラメーターはモデルのデフォルト設定とマージされます。--generation-config vllm と使用すると、オーバーライドパラメーターのみが使用されます。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: {}

エンジンのスリープモードを有効にします (CUDA プラットフォームのみがサポートされます)。

デフォルト: False

使用可能な選択肢: auto、terratorch、transformers、vllm

使用するモデルの実装。

デフォルト: auto

注意のために dtype をオーバーライドする

デフォルト: None

1 つ以上のロジットプロセッサーの完全修飾クラス名またはクラス定義

デフォルト: None

モデルの起動時にロードする IOProcessor プラグイン名

デフォルト: None

読み込むモデルの重みの形式。

デフォルト: auto

重みをダウンロードしてロードするディレクトリー。デフォルトは Hugging Face のデフォルトのキャッシュディレクトリーです。

デフォルト: None

セーフテンソルの重みに対するロードストラテジーを指定します。

デフォルト: lazy

モデルローダーの追加設定。これは、選択した load_format に対応するモデルローダーに渡されます。

デフォルト: {}

モデルをロードするときに無視するパターンのリスト。ラマのチェックポイントの繰り返し読み込みを避けるため、デフォルトは "original/*/" になります。

デフォルト: None

モデルの重みを読み込むときに進捗バーを表示するために tqdm を有効にするかどうか。

デフォルト: True

pt_load_map_location: pytorch チェックポイントをロードするためのマップの場所。チェックポイントのロードをサポートするために、"cuda" などの特定のデバイスでのみロードできます。これは、{"": "cuda"} と同等です。サポートされている別の形式は、GPU 1 から GPU 0 など、異なるデバイスからのマッピングです ( {"cuda:1": "cuda:0"})。コマンドラインから渡す場合、辞書内の文字列は json 解析のために二重引用符で囲む必要があることに注意してください。詳細は、https://pytorch.org/docs/stable/generated/torch.load.html の map_location のオリジナルドキュメントを参照してください。

デフォルト: cpu

使用可能な選択肢: deepseek_r1、glm45、openai_gptoss、granite、hunyuan_a13b、mistral、qwen3、seed_oss、step3

使用しているモデルに応じて推論パーサーを選択します。これは推論コンテンツを OpenAI API 形式に解析するために使用されます。

デフォルト: ``

--guided-decoding-backend は v0.12.0 で削除されます。

デフォルト: None

--guided-decoding-disable-fallback は v0.12.0 で削除されます。

デフォルト: None

--guided-decoding-disable-any-whitespace は v0.12.0 で削除されます。

デフォルト: None

--guided-decoding-disable-additional-properties は v0.12.0 で削除されます。

デフォルト: None

使用可能な選択肢: external_launcher、mp、ray、uni

分散モデルワーカーに使用するバックエンド。"ray" または "mp" (マルチプロセッシング))。pipeline_parallel_size と tensor_parallel_size の積が使用可能な GPU の数以下の場合、単一のホストで処理を継続するために "mp" が使用されます。それ以外の場合、Ray がインストールされている場合はデフォルトで "ray" になり、そうでない場合は失敗します。tpu は分散推論に対して Ray のみをサポートすることに注意してください。

デフォルト: None

パイプライン並列グループの数。

デフォルト: 1

テンソル並列グループの数。

デフォルト: 1

デコードコンテキスト並列グループの数。ワールドサイズは dcp によって変更されないため、TP グループの GPU を単純に再利用し、tp_size は dcp_size で割り切れる必要があります。

デフォルト: 1

データ並列グループの数。MoE レイヤーは、テンソル並列サイズとデータ並列サイズの積に応じて分割されます。

デフォルト: 1

このインスタンスのデータ並列ランク。設定すると、外部ロードバランサーモードが有効になります。

デフォルト: None

セカンダリーノードのデータ並列ランクを開始します。

デフォルト: None

このノードで実行されるデータ並列レプリカの数。

デフォルト: None

データ並列クラスターのヘッドノードのアドレス。

デフォルト: None

データ並列 RPC 通信用のポート。

デフォルト: None

データ並列のバックエンド ("mp" または "ray")。

デフォルト: mp

"hybrid" DP LB モードを使用するかどうか。オンラインサービングと data_parallel_size > 0 の場合にのみ適用されます。AsyncLLM および API サーバーを「ノードごと」に実行できるようにします。vLLM はローカルデータ並列ランク間で負荷分散しますが、外部 LB は vLLM ノード/レプリカ間で負荷分散します。--data-parallel-start-rank と組み合わせて明示的に設定します。

デフォルト: False

MoE レイヤーにはテンソル並列処理ではなくエキスパート並列処理を使用します。

デフォルト: False

モデルエグゼキューターの二重バッチ重複を有効にします。

デフォルト: False

デコードのみを含むバッチの二重バッチ重複のしきい値。リクエスト内のトークンの数がこのしきい値より大きい場合は、マイクロバッチ処理が使用されます。それ以外の場合、リクエストは単一のバッチで処理されます。

デフォルト 32

1 つ以上のプリフィルを含むバッチに対する、二重バッチ重複のしきい値。リクエスト内のトークンの数がこのしきい値より大きい場合は、マイクロバッチ処理が使用されます。それ以外の場合、リクエストは単一のバッチで処理されます。

デフォルト 512

MoE レイヤーのエキスパート並列負荷分散を有効にします。

デフォルト: False

エキスパート並列処理設定。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: EPLBConfig(window_size=1000, step_interval=3000, num_redundant_experts=0, log_balancedness=False)

使用可能な選択肢: linear、round_robin

MoE レイヤーの expert 配置ストラテジー:

デフォルト: linear

--num-redundant-experts は v0.12.0 で削除されます。

デフォルト: None

--eplb-window-size は v0.12.0 で削除されます。

デフォルト: None

--eplb-step-interval は v0.12.0 で削除されます。

デフォルト: None

--eplb-log-balancedness は v0.12.0 で削除されます。

デフォルト: None

モデルを複数のバッチで順番にロードする場合の並列ロードワーカーの最大数。テンソル並列および大規模モデルを使用するときに RAM OOM を回避します。

デフォルト: None

nsight を使用して Ray ワーカーをプロファイリングするかどうかは、https://docs.ray.io/en/latest/ray -observability/user-guides/profiling.html#profiling-nsight-profiler を参照してください。

デフォルト: False

カスタムの all-reduce カーネルを無効にして、NCCL にフォールバックします。

デフォルト: False

使用するワーカークラスの完全な名前。"auto" の場合、ワーカークラスはプラットフォームに基づいて決定されます。

デフォルト: auto

使用するワーカー拡張クラスの完全な名前。ワーカー拡張クラスは、ワーカークラスによって動的に継承されます。これは、collective_rpc 呼び出しで使用するために、ワーカークラスに新しい属性とメソッドを注入するために使用されます。

デフォルト: ``

デフォルト: False

使用可能な選択肢: 1、8、16、32、64、128

連続するキャッシュブロックのサイズ (トークン数)。CUDA デバイスでは、最大 32 のブロックサイズのみがサポートされます。

この設定には静的なデフォルトはありません。ユーザーが指定しない場合は、現在のプラットフォームに基づいて Platform.check_and_update_config() で設定されます。

デフォルト: None

モデルエグゼキューターに使用される GPU メモリーの割合。範囲は 0 - 1 です。たとえば、値が 0.5 の場合、GPU メモリーの使用率は 50%% になります。指定しない場合は、デフォルト値 0.9 が使用されます。これはインスタンスごとの制限であり、現在の vLLM インスタンスにのみ適用されます。同じ GPU 上で別の vLLM インスタンスが実行されていても問題ありません。たとえば、同じ GPU 上で 2 つの vLLM インスタンスを実行している場合、各インスタンスの GPU メモリー使用率を 0.5 に設定できます。

デフォルト: 0.9

GPU あたりの KV キャッシュのサイズ (バイト単位)。デフォルトでは、これは None に設定されており、vllm は gpu_memory_utilization に基づいて kv キャッシュサイズを自動的に推測できます。ただし、ユーザーは kv キャッシュメモリーのサイズを手動で指定することもできます。kv_cache_memory_bytes を使用すると、gpu_memory_memory_utilization を使用する場合と比較して、使用されるメモリーの量をより細かく制御できます。kv_cache_memory_bytes (None 以外の場合) は gpu_memory_utilization を無視することに注意してください。

'1k'、'2M' などの人間が読める整数を解析します。小数値を小数乗数とともに含めます。

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

デフォルト: None

GPU あたりの CPU スワップ領域のサイズ (GiB 単位)。

デフォルト: 4

使用可能な選択肢: auto、bfloat16、fp8、fp8_e4m3、fp8_e5m2、fp8_inc

kv キャッシュストレージのデータタイプ。"auto" の場合は、モデルデータ型を使用します。CUDA 11.8 以降は fp8 (=fp8_e4m3) および fp8_e5m2 をサポートします。ROCm (AMD GPU) は fp8 (=fp8_e4m3) をサポートします。Intel Gaudi (HPU) は fp8 (fp8_inc を使用) をサポートします。一部のモデル (DeepSeekV3.2 など) はデフォルトで fp8 に設定されており、代わりに bfloat16 を使用するには bfloat16 に設定します。これは、デフォルトで fp8 に設定されていないモデルでは無効なオプションです。

デフォルト: auto

使用する GPU ブロックの数。指定されている場合、プロファイルされた num_gpu_blocks がオーバーライドされます。None の場合は何も行いません。プリエンプションのテストに使用されます。

デフォルト: None

接頭辞キャッシュを有効にするかどうか。V1 ではデフォルトで有効になっています。

デフォルト: None

使用可能な選択肢: sha256、sha256_cbor

接頭辞キャッシュのハッシュアルゴリズムを設定します。

デフォルト: sha256

GPU ごとに CPU にオフロードするスペース (GiB 単位)。デフォルトは 0 で、オフロードがないことを意味します。直感的に言えば、この議論は GPU メモリーサイズを増やすための仮想的な方法と見ることができます。たとえば、24 GB の GPU が 1 つあり、これを 10 に設定すると、実質的には 34 GB の GPU と考えることができます。次に、重みが BF16 の 13B モデルをロードできますが、これには少なくとも 26GB の GPU メモリーが必要です。モデルの各フォワードパスでは、モデルの一部が CPU メモリーから GPU メモリーにオンザフライでロードされるため、高速な CPU-GPU 相互接続が必要になることに注意してください。

デフォルト: 0

これにより、kv_cache_dtype が fp8 の場合に k_scale と v_scale の動的な計算が可能になります。False の場合、スケールはモデルチェックポイントからロードされます (利用可能な場合)。それ以外の場合、スケールのデフォルトは 1.0 です。

デフォルト: False

この機能は現在開発中であり、このフラグを有効にすると事前入力の最適化は行われません。

YOCO (https://arxiv.org/abs/2405.05254) などの一部の KV 共有設定では、一部のレイヤーが事前入力に対応するトークンをスキップできます。このフラグは、一部のモデル (Gemma3n など) でこの最適化を実装するために必要なメタデータで、適格なレイヤーのアテンションメタデータをオーバーライドできるようにします。

デフォルト: False

使用可能な選択肢: auto、float32

Mamba キャッシュに使用するデータタイプ (conv と ssm 状態の両方)。'auto' に設定すると、データ型はモデル設定から推測されます。

デフォルト: auto

使用可能な選択肢: auto、float32

Mamba キャッシュに使用するデータ型 (ssm 状態のみ、conv 状態は引き続き mamba_cache_dtype によって制御されます)。'auto' に設定すると、ssm 状態のデータタイプは mamba_cache_dtype によって決定されます。

デフォルト: auto

各モダリティーのプロンプトごとに許容可能な入力項目の最大数。各モダリティーのデフォルトは 1 (V0) または 999 (V1) です。

たとえば、プロンプトごとに最大 16 枚の画像と 2 本のビデオを使用できるようにするには、{"image": 16, "video": 2} と指定します。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: {}

メディア入力を処理するために渡される追加の引数。モダリティーによってキーが付けられます。たとえば、ビデオの num_frames を設定するには、--media-io-kwargs '{"video": {"num_frames": 40} }' を設定します。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: {}

マルチモーダルデータのモデルのプロセッサー (イメージプロセッサーなど) に転送される引数。transformers.AutoProcessor.from_pretrained から取得されたマルチモーダルプロセッサーのオーバーライド。

使用可能なオーバーライドは、実行中のモデルによって異なります。

たとえば、Phi-3-Vision の場合: {"num_crops": 4}。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

過去のマルチモーダル入力の再処理を回避するために使用される、マルチモーダルプロセッサーキャッシュのサイズ (GiB 単位)。

このキャッシュは各 API プロセスとエンジンコアプロセスごとに複製され、合計メモリー使用量は mm_processor_cache_gb * (api_server_count + data_parallel_size) です。

このキャッシュを完全に無効にするには 0 に設定します (非推奨)。

デフォルト: 4

デフォルト: False

使用可能な選択肢: lru、shm

マルチモーダルプリプロセッサー/マッパーに使用するキャッシュのタイプ。shm の場合は、共有メモリー FIFO キャッシュを使用します。lru の場合は、ミラーリングされた LRU キャッシュを使用します。

デフォルト: lru

マルチモーダルプロセッサー共有メモリーキャッシュに格納される各オブジェクトのサイズ制限 (MiB 単位)。mm_processor_cache_type が "shm" の場合にのみ有効です。

デフォルト 128

使用可能な選択肢: data、weights

テンソル並列処理 (TP) を使用してマルチモーダルエンコーダー推論を最適化する方法を示します。

デフォルト: weights

--chat-template-content-format=string を使用しながら、マルチモーダルプロンプトの完全なインターリーブサポートを有効にします。

デフォルト: False

有効にすると、エンジンの初期化中にマルチモーダルメモリープロファイリングがスキップされ、言語バックボーンモデルを使用したプロファイルのみが実行されます。

これにより、エンジンの起動時間が短縮されますが、マルチモーダルエンコーダーと埋め込みキャッシュのアクティブ化のピーク時のメモリー使用量は、ユーザーが見積もる必要があります。

デフォルト: False

効率的なビデオサンプリングによるビデオプルーニングのプルーニングレートを設定します。値は [0;1) の範囲内にあり、各ビデオから削除されるメディアトークンの割合を決定します。

デフォルト: None

True の場合、LoRA アダプターの処理が有効になります。

デフォルト: None

LoRA アダプターのバイアスを有効にします。このオプションは v0.12.0 で削除されます。

デフォルト: False

単一バッチ内の LoRA の最大数。

デフォルト: 1

最大 LoRA ランク。

デフォルト: 16

(非推奨) LoRA アダプターに存在できる追加語彙の最大サイズ。v0.12.0 で削除されます。

デフォルト: 256

使用可能な選択肢: auto、bfloat16、float16

LoRA のデータ型。auto の場合、デフォルトで基本モデルの dtype になります。

デフォルト: auto

CPU メモリーに保存する LoRA の最大数。max_loras 以上である必要があります。

デフォルト: None

デフォルトでは、LoRA 計算の半分だけがテンソル並列処理で分割されます。これを有効にすると、完全にシャード化されたレイヤーが使用されます。シーケンスの長さ、ランク、またはテンソルの並列サイズが大きい場合、おそらくこれは高速になります。

デフォルト: False

特定のモダリティーを LoRA モデルパスにマッピングするディクショナリー。このフィールドはマルチモーダルモデルにのみ該当します。このフィールドは、特定のモダリティーが存在し、モデルが常に LoRA がアクティブであると想定する場合に使用してください。現時点では、リクエストが複数の追加モダリティーを提供し、それぞれに独自の LoRA がある場合、プロンプトごとに 1 つの lora アダプターしかサポートしていないため、default_mm_loras は適用されないことに注意してください。オフラインモードで実行すると、n 個のモダリティーの lora ID が、モダリティーの名前とともにアルファベット順に 1 - n に自動的に割り当てられます。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

指定されたバージョン以降で非表示になっている非推奨の Prometheus メトリクスを有効にします。たとえば、以前非推奨になったメトリクスが v0.7.0 リリース以降非表示になっている場合は、新しいメトリクスに移行する間の一時的なエスケープハッチとして --show-hidden-metrics-for-version=0.7 を使用します。このメトリクスは、今後のリリースで完全に削除される可能性があります。

デフォルト: None

OpenTelemetry トレースが送信されるターゲット URL。

デフォルト: None

使用可能な選択肢: all、model、worker、None、model,worker、model,all、worker,model、worker,all、all,model、all,worker

--otlp-traces-endpoint が設定されている場合にのみこれを設定する意味があります。設定すると、指定されたモジュールの詳細なトレースが収集されます。これには、コストがかかったり、ブロックしたりする可能性のある操作が含まれるため、パフォーマンスに影響が出る可能性があります。

各リクエストの詳細なタイミング情報を収集するとコストがかかる可能性があることに注意してください。

デフォルト: None

1 回の反復で処理されるトークンの最大数。

この設定には静的なデフォルトはありません。ユーザーが指定しない場合は、使用コンテキストに基づいて EngineArgs.create_engine_config で設定されます。

'1k'、'2M' などの人間が読める整数を解析します。小数値を小数乗数とともに含めます。

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

Examples:
- '1k' -> 1,000
- '1K' -> 1,024
- '25.6k' -> 25,600

デフォルト: None

1 回の反復で処理されるシーケンスの最大数。

この設定には静的なデフォルトはありません。ユーザーが指定しない場合は、使用コンテキストに基づいて EngineArgs.create_engine_config で設定されます。

デフォルト: None

チャンク単位の事前入力の場合、同時に部分的に事前入力できるシーケンスの最大数。

デフォルト: 1

チャンク単位の事前入力の場合、同時に事前入力される long_prefill_token_threshold よりも長いプロンプトの最大数。これを max_num_partial_prefills よりも小さい値を設定すると、場合によっては短いプロンプトが長いプロンプトの前にキューを飛び越して処理され、レイテンシーが改善されます。

デフォルト: 1

Cuda グラフのキャプチャーサイズ

デフォルト: []

チャンクでの事前入力の場合、プロンプトがこのトークン数より長いと、リクエストは長いとみなされます。

デフォルト: 0

既知のトークン ID を超えて、シーケンスごと、ステップごとに割り当てるスロットの数。これは、受け入れられるかどうかわからないトークンの KV アクティベーションを保存するために、推測的デコードで使用されます。

デフォルト: 0

使用可能な選択肢: fcfs、priority

使用するスケジューリングポリシー。

デフォルト: fcfs

True の場合、残りの max_num_batched_tokens に基づいて事前入力リクエストをチャンク単位に分割できます。

デフォルト: None

true に設定され、チャンク事前入力が有効になっている場合、マルチモーダルアイテムを部分的にスケジュールする必要はありません。V1 でのみ使用されます。これにより、リクエストに混合プロンプト (たとえば、テキストトークン TTTT の後にイメージトークン IIIIIIIIII が続く) があり、一部のイメージトークンのみをスケジュールできる場合 (たとえば、TTTTIIIII があった場合に、IIIII を残す)、アイテムは 1 つのステップで TTTT としてスケジュールされ、次のステップで IIIIIIIIII としてスケジュールされます。

デフォルト: False

使用するスケジューラークラス。"vllm.core.scheduler.Scheduler" がデフォルトのスケジューラーです。直接クラスまたは "mod.custom_class" 形式のクラスへのパスを指定できます。

デフォルト: vllm.core.scheduler.Scheduler

True に設定すると、フルアテンションやスライディングウィンドウアテンションなどの複数の種類のアテンションレイヤーがある場合でも、KV キャッシュマネージャーはすべてのアテンションレイヤーに同じサイズの KV キャッシュを割り当てます。

デフォルト: False

True に設定すると、非同期スケジューリングが実行されます。これにより、CPU オーバーヘッドが削減され、レイテンシーとスループットが向上する可能性があります。ただし、非同期スケジューリングは現在、構造化出力、投機的デコード、パイプライン並列処理などの一部の機能ではサポートされていません。

デフォルト: False

推測的デコーディングの設。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

分散 KV キャッシュ転送の設定。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

イベント公開の設定。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト: None

モデルの torch.compile および cudagraph キャプチャー設定。

省略形として、-O<n> を使用してコンパイルレベル n を直接指定できます。-O3 は -O.level=3 (-O='{"level":3}' と同じ) と同等です。現在、-O <n>and -O=<n>are supported as well but this will likely be removed in favor of clearer -O<n>syntax in the future.</n></n></n>

完全なコンパイル設定は、{"level": 3, "cudagraph_capture_sizes": [1, 2, 4, 8]} のように指定できます。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト:

{
   "level":null,
   "debug_dump_path":"",
   "cache_dir":"",
   "backend":"",
   "custom_ops":[

   ],
   "splitting_ops":null,
   "use_inductor":true,
   "compile_sizes":null,
   "inductor_compile_config":{
      "enable_auto_functionalized_v2":false
   },
   "inductor_passes":{

   },
   "cudagraph_mode":null,
   "use_cudagraph":true,
   "cudagraph_num_of_warmups":0,
   "cudagraph_capture_sizes":null,
   "cudagraph_copy_inputs":false,
   "full_cuda_graph":false,
   "use_inductor_graph_partition":false,
   "pass_config":{

   },
   "max_capture_size":null,
   "local_cache_dir":null
}

{
   "level":null,
   "debug_dump_path":"",
   "cache_dir":"",
   "backend":"",
   "custom_ops":[

   ],
   "splitting_ops":null,
   "use_inductor":true,
   "compile_sizes":null,
   "inductor_compile_config":{
      "enable_auto_functionalized_v2":false
   },
   "inductor_passes":{

   },
   "cudagraph_mode":null,
   "use_cudagraph":true,
   "cudagraph_num_of_warmups":0,
   "cudagraph_capture_sizes":null,
   "cudagraph_copy_inputs":false,
   "full_cuda_graph":false,
   "use_inductor_graph_partition":false,
   "pass_config":{

   },
   "max_capture_size":null,
   "local_cache_dir":null
}

指定されたプラットフォームの追加設定。プラットフォームによってサポートされる設定が異なる場合があります。使用しているプラットフォームに対して設定が有効であることを確認してください。コンテンツはハッシュ可能である必要があります。

デフォルト: {}

構造化された出力設定。

有効な JSON 文字列または個別に渡される JSON キーのいずれかである必要があります。

デフォルト:

config = StructuredOutputsConfig(
    backend='auto',
    disable_fallback=False,
    disable_any_whitespace=False,
    disable_additional_properties=False,
    reasoning_parser=''
)

config = StructuredOutputsConfig(
    backend='auto',
    disable_fallback=False,
    disable_any_whitespace=False,
    disable_additional_properties=False,
    reasoning_parser=''
)