第8章 IBM Spyre AI アクセラレーターを備えた IBM Z での Podman による推論

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

4. lspci -v を使用して、コンテナーがホストシステムの IBM Spyre AI アクセラレーターにアクセスできることを確認します。

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

5. コンテナーにマウントするボリュームを作成し、コンテナーが使用できるようにコンテナーのパーミッションを調整します。

   $ mkdir -p ~/models && chmod g+rwX ~/models

6. granite- 3.3-8b-instruct モデルは models/ フォルダーにダウンロードします。詳細は、Downloading models を参照してください。

7. 利用可能な Spyre デバイスの IOMMU グループ ID を収集します。

   $ lspci

   出力例

   0000:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0001:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0002:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev ff)
   0003:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)

   各行は PCI デバイスアドレスで始まります（例 : 0000:00:00.0 ）。

8. PCI アドレスを使用して、必要な Spyre カードの IOMMU グループ ID を確認します。以下に例を示します。

   $ readlink /sys/bus/pci/devices/<PCI_ADDRESS>/iommu_group

   出力例

   ../../../kernel/iommu_groups/0

   IOMMU グループ ID (0)は、readlink 出力の末尾番号です。

   必要な Spyre カードごとに繰り返します。

9. readlink 出力を使用して、必要な Spyre カードの IOMMU_GROUP_ID 変数を設定します。以下に例を示します。

   IOMMU_GROUP_ID0=0
   IOMMU_GROUP_ID1=1
   IOMMU_GROUP_ID2=2
   IOMMU_GROUP_ID3=3

10. AI 推論サーバーコンテナーを起動し、必要な Spyre デバイスの IOMMU グループ ID 変数を渡します。たとえば、4 つの Spyre デバイス全体でエンティティー抽出用に設定された granite-3.3-8b-instruct モデルをデプロイします。

    podman run \
      --device /dev/vfio/vfio \
      --device /dev/vfio/${IOMMU_GROUP_ID0}:/dev/vfio/${IOMMU_GROUP_ID0}  \
      --device /dev/vfio/${IOMMU_GROUP_ID1}:/dev/vfio/${IOMMU_GROUP_ID1}  \
      --device /dev/vfio/${IOMMU_GROUP_ID2}:/dev/vfio/${IOMMU_GROUP_ID2}  \
      --device /dev/vfio/${IOMMU_GROUP_ID3}:/dev/vfio/${IOMMU_GROUP_ID3}  \
      -v $HOME/models:/models:Z \
      --pids-limit 0 \
      --userns=keep-id \
      --group-add=keep-groups \
      --memory 200G \
      --shm-size 64G \
      -p 8000:8000 \
      registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
        --model /models/granite-3.3-8b-instruct \
        -tp 4 \
        --max-model-len 32768 \
        --max-num-seqs 32