2.2. vllm chat の引数

実行中の API サーバーでチャット補完を生成します。

vllm chat [options]

$ vllm chat [options]

Copy to Clipboard

Toggle word wrap

--api-key API_KEY

OpenAI API キー。指定されている場合、この API キーは環境変数に設定された API キーをオーバーライドします。

デフォルト: None

--model-name MODEL_NAME

プロンプト補完で使用されるモデル名。デフォルトでは、リストモデル API 呼び出しの最初のモデルに設定されます。

デフォルト: None

--system-prompt SYSTEM_PROMPT

チャットテンプレートに追加するシステムプロンプト。システムプロンプトをサポートするモデルに使用されます。

デフォルト: None

--url URL

実行中の OpenAI 互換 RESTful API サーバーの URL

デフォルト: http://localhost:8000/v1

-q MESSAGE, --quick MESSAGE

MESSAGE として単一のプロンプトを送信し、応答を出力してから終了します。

デフォルト: None

トップに戻る