第5章 モデルのサービング (提供) およびモデルとのチャット

手順

1. 次のコマンドを実行して、systemd ユーザーサービスのディレクトリーを作成します。

   $ mkdir -p $HOME/.config/systemd/user

2. 次の例の設定を使用して、systemd サービスファイルを作成します。

   $ cat << EOF > $HOME/.config/systemd/user/ilab-serve.service
   [Unit]
   Description=ilab model serve service
   
   [Install]
   WantedBy=multi-user.target default.target 

   1

   
   
   [Service]
   ExecStart=ilab model serve --model-family granite
   Restart=always
   EOF

   1

   起動時にデフォルトで開始することを指定します。

3. 次のコマンドを実行して、systemd マネージャー設定を再ロードします。

   $ systemctl --user daemon-reload

4. 次のコマンドを実行して、ilab model serve systemd サービスを開始します。

   $ systemctl --user start ilab-serve.service

5. 以下のコマンドを実行すると、サービスが実行中であることを確認できます。

   $ systemctl --user status ilab-serve.service

6. 以下のコマンドを実行すると、サービスログを確認できます。

   $ journalctl --user-unit ilab-serve.service

7. システムの起動時にサービスを起動できるようにするには、以下のコマンドを実行します。

   $ sudo loginctl enable-linger

8. オプション: systemd サービスを維持するために実行できるオプションのコマンドがいくつかあります。

   • 次のコマンドを実行すると、ilab-serve システムサービスを停止できます。

     $ systemctl --user stop ilab-serve.service

   • $HOME/.config/systemd/user/ilab-serve.service ファイルから "WantedBy=multi-user.target default.target" を削除して、起動時にサービスが開始しないようにすることができます。

手順

1. 次のコマンドを実行して、証明書ファイルと鍵のディレクトリーを作成します。

   $ mkdir -p `pwd`/nginx/ssl/

2. 次のコマンドを実行して、適切な設定を指定して OpenSSL 設定ファイルを作成します。

   $ cat > openssl.cnf <<EOL
   [ req ]
   default_bits = 2048
   distinguished_name = <req-distinguished-name> 

   1

   
   x509_extensions = v3_req
   prompt = no
   
   [ req_distinguished_name ]
   C  = US
   ST = California
   L  = San Francisco
   O  = My Company
   OU = My Division
   CN = rhelai.redhat.com
   
   [ v3_req ]
   subjectAltName = <alt-names> 

   2

   
   basicConstraints = critical, CA:true
   subjectKeyIdentifier = hash
   authorityKeyIdentifier = keyid:always,issuer
   
   [ alt_names ]
   DNS.1 = rhelai.redhat.com 

   3

   
   DNS.2 = www.rhelai.redhat.com 

   4

   1

   要件に応じて識別名を指定します。

   2

   要件に応じて代替名を指定します。

   3 4

   RHEL AI のサーバーのコモンネームを指定します。この例では、サーバー名は rhelai.redhat.com です。

3. 次のコマンドを使用して、サブジェクト代替名 (SAN) が有効になっている自己署名証明書を生成します。

   $ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout `pwd`/nginx/ssl/rhelai.redhat.com.key -out `pwd`/nginx/ssl/rhelai.redhat.com.crt -config openssl.cnf

   $ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout

4. 次のコマンドを実行して、Nginx 設定ファイルを作成し、pwd/nginx/conf.d に追加します。

   mkdir -p `pwd`/nginx/conf.d
   
   echo 'server {
       listen 8443 ssl;
       server_name <rhelai.redhat.com> 

   1

   
   
       ssl_certificate /etc/nginx/ssl/rhelai.redhat.com.crt;
       ssl_certificate_key /etc/nginx/ssl/rhelai.redhat.com.key;
   
       location / {
           proxy_pass http://127.0.0.1:8000;
           proxy_set_header Host $host;
           proxy_set_header X-Real-IP $remote_addr;
           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           proxy_set_header X-Forwarded-Proto $scheme;
       }
   }
   ' > `pwd`/nginx/conf.d/rhelai.redhat.com.conf

   1

   サーバーの名前を指定します。この例では、サーバー名は rhelai.redhat.com です。

5. 以下のコマンドを実行して、新しい設定で Nginx コンテナーを実行します。

   $ podman run --net host -v `pwd`/nginx/conf.d:/etc/nginx/conf.d:ro,Z -v `pwd`/nginx/ssl:/etc/nginx/ssl:ro,Z nginx

   ポート 443 を使用する場合は、root ユーザーとして podman run コマンドを実行する必要があります。

6. セキュアなエンドポイント URL を使用して、サービング中の ilab マシンに接続できるようになりました。以下はコマンド例となります。

   $ ilab model chat -m /instructlab/instructlab/granite-7b-redhat-lab --endpoint-url

7. 次のコマンドを使用して、サービング中の RHEL AI マシンに接続することもできます。

   $ curl --location 'https://rhelai.redhat.com:8443/v1' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <api-key>' \
   --data '{
     "model": "/var/home/cloud-user/.cache/instructlab/models/granite-7b-redhat-lab",
     "messages": [
         {
             "role": "system",
             "content": "You are a helpful assistant."
         },
         {
             "role": "user",
             "content": "Hello!"
         }
     ]
   }' | jq .

   ここでは、以下のようになります。

   <api-key>

   API キーを指定します。「モデルとチャットするための API キーの作成」の手順に従って、独自の API キーを作成できます。

8. オプション: サーバー証明書を取得して、Certifi CA バンドルに追加することもできます。

   1. 次のコマンドを実行してサーバー証明書を取得します。

      $ openssl s_client -connect rhelai.redhat.com:8443 </dev/null 2>/dev/null | openssl x509 -outform PEM > server.crt

   2. 証明書をシステムの信頼できる CA ストレージディレクトリーにコピーし、次のコマンドを使用して CA トラストストアを更新します。

      $ sudo cp server.crt /etc/pki/ca-trust/source/anchors/

      $ sudo update-ca-trust

   3. 次のコマンドを実行すると、証明書を Certifi CA バンドルに追加できます。

      $ cat server.crt >> $(python -m certifi)

   4. 自己署名証明書を使用して ilab model chat を実行できるようになりました。以下はコマンド例となります。

      $ ilab model chat -m /instructlab/instructlab/granite-7b-redhat-lab --endpoint-url https://rhelai.redhat.com:8443/v1