3.3. vLLM モデルのエンドポイントのテスト

手順

1. 新しいターミナルウィンドウを開きます。

   1. CLI から OpenShift クラスターにログインします。
   2. OpenShift Web コンソールの右上隅で、ユーザー名をクリックし、Copy login command を選択します。
   3. ログイン後、Display token をクリックします。

   4. Log in with this token をコピーし、OpenShift コマンドラインインターフェイス (CLI) に貼り付けます。

      $ oc login --token=<token> --server=<openshift_cluster_url>

2. モデルのデプロイ時に Require token authentication を有効にした場合は、トークンを取得します。

   $ export MODEL_TOKEN=$(oc get secret default-name-llama-32-3b-instruct-sa -n <project name> --template={{ .data.token }} | base64 -d)

3. モデルのエンドポイント URL を取得します。

   • モデルのデプロイ時に Make deployed models available through an external route を有効にした場合は、OpenShift AI ダッシュボードの Model deployments ページで Endpoint details をクリックして、モデルのエンドポイント URL を取得します。

   • さらに、モデルのデプロイ時に Require token authentication を有効にしなかった場合は、次のコマンドを入力してエンドポイント URL を取得することもできます。

     $ export MODEL_ENDPOINT="https://$(oc get route llama-32-3b-instruct -n <project name> --template={{ .spec.host }})"

4. サンプルのチャット完了リクエストを使用してエンドポイントをテストします。

   • モデルのデプロイ時に Require token authentication を有効にしなかった場合は、チャット完了リクエストを入力します。以下に例を示します。

     $ curl -X POST $MODEL_ENDPOINT/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{
      "model": "llama-32-3b-instruct",
      "messages": [
        {
          "role": "user",
          "content": "Hello"
        }
      ]
     }'

   • モデルのデプロイ時に Require token authentication を有効にした場合は、リクエストにトークンを含めます。以下に例を示します。

     curl -s -k $MODEL_ENDPOINT/v1/chat/completions \
     --header "Authorization: Bearer $MODEL_TOKEN" \
     --header 'Content-Type: application/json' \
     -d '{
       "model": "llama-32-3b-instruct",
       "messages": [
         {
           "role": "user",
           "content": "can you tell me a funny joke?"
         }
       ]
     }' | jq .

     注記

     -k フラグは SSL 検証を無効にするため、テスト環境または自己署名証明書を使用する場合にのみ使用してください。