2.6. vllm run-batch 引数

ログ要求を無効にします。

デフォルト: False

統計のログ記録を無効にします。

デフォルト: False

Prometheus メトリクスを有効にします。

デフォルト: False

True に設定すると、prompt_tokens_details の使用が有効になります。

デフォルト: False

ログに出力されるプロンプト文字またはプロンプト ID 番号の最大数。

デフォルト: Unlimited

出力 URL にアップロードする前に出力ファイルを保存するディレクトリー。

デフォルト: None

Prometheus メトリクスサーバーのポート番号。enable-metrics が設定されている場合にのみ必要です。

デフォルト: 8000

request.add_generation_prompt=True の場合に返されるロール名。

デフォルト: assistant

Prometheus メトリクスサーバーの URL。enable-metrics が設定されている場合にのみ必要です。

デフォルト: 0.0.0.0

非推奨。ブロックマネージャー v1 は削除されました。SelfAttnBlockSpaceManager (ブロックマネージャー v2) がデフォルトになりました。--use-v2-block-manager フラグを True または False に設定しても、vLLM の動作には影響しません。

デフォルト: True

単一の入力ファイルへのパスまたは URL。ローカルファイルパスと HTTP または HTTPS をサポートします。URL が指定されている場合、ファイルは HTTP GET 経由で利用できる必要があります。

デフォルト: None

単一の出力ファイルへのパスまたは URL。ローカルファイルパスと HTTP または HTTPS をサポートします。URL が指定されている場合、ファイルは HTTP PUT を使用して利用できる必要があります。

デフォルト: None