第2章 vLLM サーバー引数の全リスト

使用する Hugging Face モデルの名前またはパス。

デフォルト値: facebook/opt-125m

モデルを使用するタスク。同じモデルを複数のタスクに使用できる場合でも、各 AI Inference Server インスタンスがサポートするのは 1 つのタスクのみです。モデルが 1 つのタスクのみをサポートする場合は、auto を使用してそのタスクを選択できます。それ以外の場合は、使用するタスクを明示的に指定する必要があります。

デフォルト値: auto

オプション: auto, generate, embedding, embed, classify, score, reward, transcription

トークンサイザーモード。

デフォルト値: auto

オプション: auto、slow、mistral、custom

ロードするモデルの重みの形式。

デフォルト値: auto

オプション: auto, pt, safetensors, npcache, dummy, tensorizer, sharded_state, gguf, bitsandbytes, mistral, runai_streamer

ロードするモデル設定の形式。

オプション: auto、hf、mistral

auto は、hf 形式が利用できる場合はその形式で設定をロードしようとし、使用できない場合は mistral 形式でロードしようとします。

デフォルト値: ConfigFormat.AUTO

モデルの重みとアクティベーションのデータ型。

デフォルト値: auto

オプション: auto, half, float16, bfloat16, float, float32

kv キャッシュストレージのデータタイプ。auto の場合は、モデルデータ型を使用します。CUDA 11.8 以降は fp8 (=fp8_e4m3) と fp8_e5m2 をサポートします。ROCm (AMD GPU) は fp8 (=fp8_e4m3) をサポートします。

オプション: auto、fp8、fp8_e5m2、fp8_e4m3

デフォルト値: auto

ガイド付きデコード (JSON スキーマ、正規表現など) にデフォルトで使用するエンジン。現在 outlines-dev/outlines、mlc-ai/xgrammar、noamgat/lm-format-enforcer をサポートしています。guided_decoding_backend パラメーターを使用してリクエストごとに上書きできます。バックエンド固有のオプションは、バックエンド名の後にコロンを付けて、コンマ区切りのリストで指定できます。有効なバックエンドと利用可能なすべてのオプションは次のとおりです。

デフォルト値: xgrammar

使用するモデルの実装。

デフォルト値: auto

オプション: auto、vllm、transformers

分散モデルワーカーに使用するバックエンド。ray または mp (マルチプロセッシング))。pipeline_parallel_size と tensor_parallel_size の積が使用可能な GPU の数以下の場合、mp を使用して単一のホストで処理を継続します。それ以外の場合、Ray がインストールされている場合はデフォルトで ray になり、そうでない場合は失敗します。TPU は分散推論に対して Ray のみをサポートすることに注意してください。

オプション: ray、mp、uni、external_launcher

モデルレイヤーを連続したパイプラインステージに分割してモデルを分割するノードの数。

デフォルト値: 1

モデルを複数の GPU に分割して、ストレージと計算負荷を共有します。

デフォルト値: 1

連続するトークンのチャンクのトークンブロックサイズ。これは neuron デバイスで無視され、--max-model-len に設定されます。CUDA デバイスでは、最大 32 のブロックサイズのみがサポートされます。HPU デバイスでは、ブロックサイズのデフォルトは 128 です。

オプション: 8、16、32、64、128

speculative decoding (推測的デコーディング) に必要な実験的なスケジューリング設定。これは今後、推測的な設定に置き換えられますが、それまでは正確性テストを有効にするために存在します。

デフォルト値: 0

GPU あたりの CPU スワップ領域のサイズ (GiB)。

デフォルト値: 4

GPU ごとに CPU にオフロードするスペース (GiB 単位)。デフォルトは 0 で、オフロードがないことを意味します。直感的に言えば、この議論は GPU メモリーサイズを増やすための仮想的な方法と見ることができます。たとえば、24 GB の GPU が 1 つあり、これを 10 に設定すると、実質的には 34 GB の GPU と考えることができます。次に、重みが BF16 の 13B モデルをロードできますが、これには少なくとも 26GB の GPU メモリーが必要です。モデルの各フォワードパスでモデルの一部が CPU メモリーから GPU メモリーに動的にロードされるため、高速な CPU-GPU 相互接続が必要になることに注意してください。

デフォルト値: 0

モデルエグゼキューターに使用される GPU メモリーの割合。範囲は 0 - 1 です。たとえば、値が 0.5 の場合、GPU メモリーの使用率は 50% になります。指定しない場合は、デフォルト値 0.9 が使用されます。これはインスタンスごとの制限であり、現在の AI Inference Server インスタンスにのみ適用されます。同じ GPU 上で別の AI Inference Server インスタンスが実行されていても問題ありません。たとえば、同じ GPU 上で 2 つの AI Inference Server インスタンスが実行されている場合、各インスタンスの GPU メモリー使用率を 0.5 に設定できます。

デフォルト値: 0.9

チャンクでの事前入力の場合、同時に実行される部分事前入力の最大数。デフォルトは 1 です。

デフォルト値: 1

チャンクでの事前入力の場合は、自動入力されている --long-prefill-token-threshold よりも長いプロンプトの最大数。これを max_num_partial_prefills よりも小さい値を設定すると、場合によっては短いプロンプトが長いプロンプトの前にキューを飛び越して処理され、レイテンシーが改善されます。デフォルトは 1 です。

デフォルト値: 1

チャンクでの事前入力の場合、プロンプトがこのトークン数より長いと、リクエストは長いとみなされます。デフォルトではモデルのコンテキストの長さの 4% になります。

logprobs を返すための logprobs の最大数は SamplingParams で指定されます。

デフォルト値: 20

重みを量子化するために使用される方法。None の場合は、まずモデル設定ファイルの quantization_config 属性を確認します。None の場合、モデルの重みは量子化されていないと想定し、dtype を使用して重みのデータ型を決定します。

オプション: aqlm, awq, deepspeedfp, tpu_int8, fp8, ptpc_fp8, fbgemm_fp8, modelopt, nvfp4, marlin, gguf, gptq_marlin_24, gptq_marlin, awq_marlin, gptq, compressed-tensors, bitsandbytes, qqq, hqq, experts_int8, neuron_quant, ipex, quark, moe_wna16, None

CUDA グラフでカバーされるシーケンスの最大長。シーケンスのコンテキスト長がこれより大きい場合、AI Inference Server は Eager モードにフォールバックします。さらに、エンコーダー/デコーダーモデルの場合、エンコーダー入力のシーケンス長がこれより大きい場合、AI Inference Server は Eager モードにフォールバックします。

デフォルト値: 8192

非同期トークン化に使用するトークナイザープールのサイズ。0 の場合、同期トークン化を使用します。

デフォルト値: 0

非同期トークン化に使用するトークナイザープールのタイプ。tokenizer_pool_size が 0 の場合は無視されます。

デフォルト値: ray

単一バッチ内の LoRA の最大数。

デフォルト値: 1

最大 LoRA ランク。

デフォルト値: 16

LoRA アダプターに存在できる追加語彙の最大サイズ (基本のモデル語彙に追加)。

デフォルト値: 256

LoRA のデータ型。auto の場合、デフォルトで基本モデルの dtype になります。

デフォルト値: auto

オプション: auto、float16、bfloat16

バッチの PromptAdapters の最大数。

デフォルト値: 1

PromptAdapters トークンの最大数

デフォルト値: 0

AI Inference Server 実行用のデバイスタイプ。

オプション: auto, cuda, neuron, cpu, openvino, tpu, xpu, hpu

デフォルト値: auto

スケジューラー呼び出しごとの最大のフォワードステップ数。

デフォルト値: 1

モデルの重みを読み込むときに進捗バーを有効にするか無効にするかを指定します。

デフォルト値: True

False の場合、マルチステップはすべてのステップの最後に出力をストリーミングします。

デフォルト値: True

次のプロンプトをスケジュールする前に、遅延 (遅延係数×前回のプロンプトの遅延) を適用します。

デフォルト値: 0.0

推測的モデルの重みを量子化するために使用される方法。None の場合、AI Inference Server は最初にモデル設定ファイルの quantization_config 属性をチェックします。None の場合、AI Inference Server はモデルの重みが量子化されていないと想定し、dtype を使用して重みのデータ型を決定します。

オプション: aqlm, awq, deepspeedfp, tpu_int8, fp8, ptpc_fp8, fbgemm_fp8, modelopt, nvfp4, marlin, gguf, gptq_marlin_24, gptq_marlin, awq_marlin, gptq, compressed-tensors, bitsandbytes, qqq, hqq, experts_int8, neuron_quant, ipex, quark, moe_wna16, None

推測的デコーディングで、ドラフトトークン検証時に使用する受け入れ方法を指定します。2 種類の承認ルーチンがサポートされています。

モデルをロードするときに無視するパターン。llama のチェックポイントの繰り返し読み込みを避けるために、デフォルトは original/**/* になります。

デフォルト値: []

使用するスケジューリングポリシー。fcfs (先着順、リクエストは到着順に処理されます。デフォルト) または priority (リクエストは指定された優先度に基づいて処理され、値が低いほど早く処理されます。同点の場合は到着時間によって決定されます)。

デフォルト値: fcfs

オプション: fcfs, priority

使用するスケジューラークラス。vllm.core.scheduler.Scheduler はデフォルトのスケジューラーです。直接クラスまたは mod.custom_class 形式のクラスへのパスを指定できます。

デフォルト値: vllm.core.scheduler.Scheduler

分散実行に使用するワーカークラス。

デフォルト値: auto

生成設定へのフォルダーパス。デフォルトは auto で、生成設定はモデルパスから読み込まれます。設定する場合。vllm、生成設定は読み込まれず、AI Inference Server のデフォルトが使用されます。フォルダーパスに設定すると、指定されたフォルダーパスから生成設定が読み込まれます。生成設定で max_new_tokens が指定されている場合は、すべてのリクエストの出力トークンの数にサーバー全体の制限が設定されます。

デフォルト値: auto

使用しているモデルに応じて推論パーサーを選択します。これは推論コンテンツを OpenAI API 形式に解析するために使用されます。--enable-reasoning に必須です。

オプション: deepseek_r1

CUDA グラフのキャプチャーサイズ。デフォルトは 512 です。値が 1 つ指定されている場合、キャプチャーリストは、[1, 2, 4] + [i for i in range(8, cuda_graph_sizes + 1, 8)] のパターンに従います。複数の値 (例: 1 2 128) が指定されている場合、キャプチャーリストは指定のリストに従います。

デフォルト: 512

データ並列グループの数。MoE レイヤーは、テンソル並列サイズとデータ並列サイズの積に応じて分割されます。

デフォルト: 1

V1 のカスケードアテンションを無効にします。カスケードアテンションは数学的な正確性を確保します。ただし、これを無効にすると、数値的な問題が発生する可能性を回避するのに役立ちます。これを False に設定しても、カスケードアテンションはヒューリスティックによって有益であると判断された場合にのみ使用されることに注意してください。

デフォルト: False

true に設定され、チャンクの事前入力が有効になっている場合は、マルチモーダルアイテムを部分的にスケジュールしないでください。V1 でのみ使用されます。これにより、リクエストに混合プロンプト (たとえば、テキストトークン TTTT の後にイメージトークン IIIIIIIIII が続く) があり、一部のイメージトークンのみをスケジュールできる場合 (たとえば、TTTTIIIII があった場合に、IIIII を残す)、アイテムは 1 つのステップで TTTT としてスケジュールされ、次のステップで IIIIIIIIII としてスケジュールされます。

デフォルト: False

True の場合、prompt_embeds キーを介してテキスト埋め込みを入力として渡すことができます。これを有効にすると、グラフのコンパイルに必要な時間が 2 倍になることに注意してください。

デフォルト: False

True の場合、prompt_embeds キーを介してテキスト埋め込みを入力として渡すことができます。これを有効にすると、グラフのコンパイルに必要な時間が 2 倍になることに注意してください。

デフォルト: False

True の場合、ガイダンスバックエンドは JSON スキーマ内の additionalProperties を使用しません。これはガイダンスバックエンドに対してのみサポートされており、アウトラインおよび xgrammar との動作をより適切に調整するために使用されます。

デフォルト: False

True の場合、このモデルはガイド付きデコーディング中に、空白生成しません。これは、xgrammar および guidance バックエンドでのみサポートされます。

デフォルト: False

True の場合、vLLM はエラー時に別のバックエンドにフォールバックしません。

デフォルト: False

接頭辞キャッシュのハッシュアルゴリズムを設定します。

オプション: builtin、sha256

デフォルト: builtin

pytorch チェックポイントをロードするためのマップの場所。チェックポイントのロードをサポートするには、cuda などの特定のデバイスでのみロードできます。これは {": "cuda"} と同等です。サポートされている別の形式は、GPU 1 から GPU 0 など、異なるデバイスからのマッピングです ({"cuda:1": "cuda:0"})。コマンドラインから渡す場合、辞書内の文字列は JSON 解析のために二重引用符で囲む必要があることに注意してください。詳細は、https://pytorch.org/docs/stable/generated/torch.load.html の map_location のオリジナルドキュメントを参照してください。

デフォルト: cpu