第 5 章 使用模型提供和聊天

流程.

1. 运行以下命令，为您的 systemd 用户服务创建一个目录：

   $ mkdir -p $HOME/.config/systemd/user

2. 使用以下示例配置创建 systemd 服务文件：

   $ cat << EOF > $HOME/.config/systemd/user/ilab-serve.service
   [Unit]
   Description=ilab model serve service
   
   [Install]
   WantedBy=multi-user.target default.target 

   1

   
   
   [Service]
   ExecStart=ilab model serve --model-family granite
   Restart=always
   EOF

   1

   指定在引导时默认启动。

3. 运行以下命令来重新载入 systemd Manager 配置：

   $ systemctl --user daemon-reload

4. 运行以下命令启动 ilab 模型服务 systemd 服务：

   $ systemctl --user start ilab-serve.service

5. 您可以使用以下命令检查该服务是否正在运行：

   $ systemctl --user status ilab-serve.service

6. 您可以运行以下命令来检查服务日志：

   $ journalctl --user-unit ilab-serve.service

7. 要允许服务在引导时启动，请运行以下命令：

   $ sudo loginctl enable-linger

8. 可选：您可以运行几个可选命令来维护 systemd 服务。

   • 您可以运行以下命令来停止 ilab-serve 系统服务：

     $ systemctl --user stop ilab-serve.service

   • 您可以通过从 $HOME/.config/systemd/user/ilab-serve.service 文件中删除 "WantedBy=multi-user.target default.target" 来防止服务在引导时启动。

流程

1. 运行以下命令，为您的证书文件和密钥创建一个目录：

   $ mkdir -p `pwd`/nginx/ssl/

2. 运行以下命令，使用正确的配置创建 OpenSSL 配置文件：

   $ cat > openssl.cnf <<EOL
   [ req ]
   default_bits = 2048
   distinguished_name = <req-distinguished-name> 

   1

   
   x509_extensions = v3_req
   prompt = no
   
   [ req_distinguished_name ]
   C  = US
   ST = California
   L  = San Francisco
   O  = My Company
   OU = My Division
   CN = rhelai.redhat.com
   
   [ v3_req ]
   subjectAltName = <alt-names> 

   2

   
   basicConstraints = critical, CA:true
   subjectKeyIdentifier = hash
   authorityKeyIdentifier = keyid:always,issuer
   
   [ alt_names ]
   DNS.1 = rhelai.redhat.com 

   3

   
   DNS.2 = www.rhelai.redhat.com 

   4

   1

   为您的要求指定可分辨名称。

   2

   为您的要求指定备用名称。

   3 4

   指定 RHEL AI 的服务器通用名称。在示例中，服务器名称为 rhelai.redhat.com。

3. 使用以下命令生成启用了 Subject Alternative Name (SAN)的自签名证书：

   $ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout `pwd`/nginx/ssl/rhelai.redhat.com.key -out `pwd`/nginx/ssl/rhelai.redhat.com.crt -config openssl.cnf

   $ openssl req -x509 -nodes -days 365 -newkey rsa:2048 -keyout

4. 运行以下命令，创建 Nginx 配置文件并将其添加到 'pwd/nginx/conf.d' 中：

   mkdir -p `pwd`/nginx/conf.d
   
   echo 'server {
       listen 8443 ssl;
       server_name <rhelai.redhat.com> 

   1

   
   
       ssl_certificate /etc/nginx/ssl/rhelai.redhat.com.crt;
       ssl_certificate_key /etc/nginx/ssl/rhelai.redhat.com.key;
   
       location / {
           proxy_pass http://127.0.0.1:8000;
           proxy_set_header Host $host;
           proxy_set_header X-Real-IP $remote_addr;
           proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
           proxy_set_header X-Forwarded-Proto $scheme;
       }
   }
   ' > `pwd`/nginx/conf.d/rhelai.redhat.com.conf

   1

   指定服务器的名称。在示例中，服务器名称为 rhelai.redhat.com

5. 运行以下命令，使用新配置运行 Nginx 容器：

   $ podman run --net host -v `pwd`/nginx/conf.d:/etc/nginx/conf.d:ro,Z -v `pwd`/nginx/ssl:/etc/nginx/ssl:ro,Z nginx

   如果要使用端口 443，则必须以 root 用户身份运行 podman run 命令。

6. 现在，您可以使用安全端点 URL 连接到服务 ilab 机器。示例命令：

   $ ilab model chat -m /instructlab/instructlab/granite-7b-redhat-lab --endpoint-url

7. 您还可以使用以下命令连接到服务 RHEL AI 机器：

   $ curl --location 'https://rhelai.redhat.com:8443/v1' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <api-key>' \
   --data '{
     "model": "/var/home/cloud-user/.cache/instructlab/models/granite-7b-redhat-lab",
     "messages": [
         {
             "role": "system",
             "content": "You are a helpful assistant."
         },
         {
             "role": "user",
             "content": "Hello!"
         }
     ]
   }' | jq .

   其中

   <api-key>

   指定 API 密钥。您可以按照"创建 API 密钥以使用模型进行聊天"中的步骤创建自己的 API 密钥。

8. 可选： 您还可以获取服务器证书并将其附加到 Certifi CA 捆绑包中

   1. 运行以下命令来获取服务器证书：

      $ openssl s_client -connect rhelai.redhat.com:8443 </dev/null 2>/dev/null | openssl x509 -outform PEM > server.crt

   2. 将证书复制到您系统的可信 CA 存储目录中，并使用以下命令更新 CA 信任存储：

      $ sudo cp server.crt /etc/pki/ca-trust/source/anchors/

      $ sudo update-ca-trust

   3. 您可以运行以下命令来将证书附加到 Certifi CA 捆绑包：

      $ cat server.crt >> $(python -m certifi)

   4. 现在，您可以使用自签名证书运行 ilab 模型聊天。示例命令：

      $ ilab model chat -m /instructlab/instructlab/granite-7b-redhat-lab --endpoint-url https://rhelai.redhat.com:8443/v1