第 8 章 在带有 IBM Spyre AI Accelerator 的 IBM Z 上使用 Podman 服务

流程

1. 在服务器主机上打开一个终端，并登录到 registry.redhat.io ：

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. 运行以下命令拉取 Red Hat AI Inference Server 镜像：

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

3. 如果您的系统启用了 SELinux，请将 SELinux 配置为允许设备访问：

   $ sudo setsebool -P container_use_devices 1

   Copy to Clipboard Toggle word wrap

4. 使用 lspci -v 验证容器是否可以访问主机系统 IBM Spyre AI Accelerators：

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

   输出示例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

   Copy to Clipboard Toggle word wrap

5. 创建卷以挂载到容器并调整容器权限，以便容器可以使用它。

   $ mkdir -p ~/models && chmod g+rwX ~/models

   Copy to Clipboard Toggle word wrap
6. 将 granite-3.3-8b-instruct 模型下载到 models/ 文件夹中。如需更多信息，请参阅 下载模型。

7. 为可用的 Spyre 设备收集 IOMMU 组 ID：

   $ lspci

   Copy to Clipboard Toggle word wrap

   输出示例

   0000:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0001:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0002:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev ff)
   0003:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)

   Copy to Clipboard Toggle word wrap

   每行都以 PCI 设备地址开头，例如 0000:00:00.0。

8. 使用 PCI 地址确定所需的 Spyre 卡的 IOMMU 组 ID，例如：

   $ readlink /sys/bus/pci/devices/<PCI_ADDRESS>/iommu_group

   Copy to Clipboard Toggle word wrap

   输出示例

   ../../../kernel/iommu_groups/0

   Copy to Clipboard Toggle word wrap

   IOMMU 组 ID (0)是 readlink 输出中末尾的数字。

   对每个必需的 Spyre 卡重复此操作。

9. 使用 readlink 输出为所需的 Spyre 卡设置 IOMMU_GROUP_ID 变量。例如：

   IOMMU_GROUP_ID0=0
   IOMMU_GROUP_ID1=1
   IOMMU_GROUP_ID2=2
   IOMMU_GROUP_ID3=3

   Copy to Clipboard Toggle word wrap

10. 启动 AI Inference Server 容器，传递所需的 Spyre 设备的 IOMMU 组 ID 变量。例如，部署为实体提取在 4 个 Spyre 设备中提取的 granite-3.3-8b-instruct 模型：

    podman run \
      --device /dev/vfio/vfio \
      --device /dev/vfio/${IOMMU_GROUP_ID0}:/dev/vfio/${IOMMU_GROUP_ID0}  \
      --device /dev/vfio/${IOMMU_GROUP_ID1}:/dev/vfio/${IOMMU_GROUP_ID1}  \
      --device /dev/vfio/${IOMMU_GROUP_ID2}:/dev/vfio/${IOMMU_GROUP_ID2}  \
      --device /dev/vfio/${IOMMU_GROUP_ID3}:/dev/vfio/${IOMMU_GROUP_ID3}  \
      -v $HOME/models:/models:Z \
      --pids-limit 0 \
      --userns=keep-id \
      --group-add=keep-groups \
      --memory 200G \
      --shm-size 64G \
      -p 8000:8000 \
      registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
        --model /models/granite-3.3-8b-instruct \
        -tp 4 \
        --max-model-len 32768 \
        --max-num-seqs 32

    Copy to Clipboard Toggle word wrap