第 7 章 在带有 IBM Spyre AI Accelerator 的 IBM Power 上使用 Podman 的推测

流程

1. 在服务器主机上打开一个终端，并登录到 registry.redhat.io ：

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. 运行 servicereport 命令来验证 IBM Spyre 硬件：

   $ servicereport -r -p spyre

   Copy to Clipboard Toggle word wrap

   输出示例

   servicereport 2.2.5
   
   Spyre configuration checks                          PASS
   
     VFIO Driver configuration                         PASS
     User memlock configuration                        PASS
     sos config                                        PASS
     sos package                                       PASS
     VFIO udev rules configuration                     PASS
     User group configuration                          PASS
     VFIO device permission                            PASS
     VFIO kernel module loaded                         PASS
     VFIO module dep configuration                     PASS
   
   Memlock limit is set for the sentient group.
   Spyre user must be in the sentient group.
   To add run below command:
           sudo usermod -aG sentient <user>
           Example:
           sudo usermod -aG sentient abc
           Re-login as <user>.

   Copy to Clipboard Toggle word wrap

3. 运行以下命令拉取 Red Hat AI Inference Server 镜像：

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

4. 如果您的系统启用了 SELinux，请将 SELinux 配置为允许设备访问：

   $ sudo setsebool -P container_use_devices 1

   Copy to Clipboard Toggle word wrap

5. 使用 lspci -v 验证容器是否可以访问主机系统 IBM Spyre AI Accelerators：

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

   输出示例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

   Copy to Clipboard Toggle word wrap

6. 创建卷以挂载到容器并调整容器权限，以便容器可以使用它。

   $ mkdir -p ~/models && chmod g+rwX ~/models

   Copy to Clipboard Toggle word wrap
7. 将 granite-3.3-8b-instruct 模型下载到 models/ 文件夹中。如需更多信息，请参阅 下载模型。

8. 为 VLLM_AIU_PCIE_IDS 变量收集 Spyre ID：

   $ lspci

   Copy to Clipboard Toggle word wrap

   输出示例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

   Copy to Clipboard Toggle word wrap

9. 设置 SPYRE_IDS 变量：

   $ SPYRE_IDS="0381:50:00.0 0382:60:00.0 0383:70:00.0 0384:80:00.0"

   Copy to Clipboard Toggle word wrap

10. 启动 AI Inference Server 容器。例如，部署为实体提取服务配置的 granite-3.3-8b-instruct 模型：

    podman run \
        --device=/dev/vfio \
        -v $HOME/models:/models \
        -e AIU_PCIE_IDS="${SPYRE_IDS}" \
        -e VLLM_SPYRE_USE_CB=1 \
        --pids-limit 0 \
        --userns=keep-id \
        --group-add=keep-groups \
        --memory 200G \
        --shm-size 64G \
        -p 8000:8000 \
        registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
            --model /models/granite-3.3-8b-instruct \
            -tp 4 \
            --max-model-len 32768 \
            --max-num-seqs 32

    Copy to Clipboard Toggle word wrap