5.2. モデルとのチャット

手順

1. 次のコマンドを実行して、$VLLM_API_KEY パラメーターに保持される API キーを作成します。

   $ export VLLM_API_KEY=$(python -c 'import secrets; print(secrets.token_urlsafe())')

2. 次のコマンドを実行すると、API キーを表示できます。

   $ echo $VLLM_API_KEY

3. 次のコマンドを実行して config.yaml を更新します。

   $ ilab config edit

4. config.yaml ファイルの vllm_args セクションに次のパラメーターを追加します。

   serve:
       vllm:
           vllm_args:
           - --api-key
           - <api-key-string>

   ここでは、以下のようになります。

   <api-key-string>

   API キー文字列を指定します。

5. 次のコマンドを実行すると、サーバーが API キー認証を使用していることを確認できます。

   $ ilab model chat

   次に、ユーザーに権限がないことを示す以下のエラーが表示されます。

   openai.AuthenticationError: Error code: 401 - {'error': 'Unauthorized'}

6. 以下のコマンドを実行して、API キーが機能していることを確認します。

   $ ilab model chat -m granite-7b-redhat-lab --endpoint-url https://inference.rhelai.com/v1 --api-key $VLLM_API_KEY

   出力例

   $ ilab model chat
   ╭────────────────────────────────────────────────────────────────────────────────────────────────────────────────── system ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
   │ Welcome to InstructLab Chat w/ GRANITE-7B-LAB (type /h for help)                                                                                                                                                                    │
   ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
   >>>                                                                                                                                                                                                                        [S][default]