第7章 IBM Spyre AI アクセラレーターを使用した IBM Power での Podman による推論

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. servicereport コマンドを実行して、IBM Spyre ハードウェアを確認します。

   $ servicereport -r -p spyre

   Copy to Clipboard Toggle word wrap

   出力例

   servicereport 2.2.5
   
   Spyre configuration checks                          PASS
   
     VFIO Driver configuration                         PASS
     User memlock configuration                        PASS
     sos config                                        PASS
     sos package                                       PASS
     VFIO udev rules configuration                     PASS
     User group configuration                          PASS
     VFIO device permission                            PASS
     VFIO kernel module loaded                         PASS
     VFIO module dep configuration                     PASS
   
   Memlock limit is set for the sentient group.
   Spyre user must be in the sentient group.
   To add run below command:
           sudo usermod -aG sentient <user>
           Example:
           sudo usermod -aG sentient abc
           Re-login as <user>.

   Copy to Clipboard Toggle word wrap

3. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

4. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

   Copy to Clipboard Toggle word wrap

5. lspci -v を使用して、コンテナーがホストシステムの IBM Spyre AI アクセラレーターにアクセスできることを確認します。

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   Copy to Clipboard Toggle word wrap

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

   Copy to Clipboard Toggle word wrap

6. コンテナーにマウントするボリュームを作成し、コンテナーが使用できるようにコンテナーのパーミッションを調整します。

   $ mkdir -p ~/models && chmod g+rwX ~/models

   Copy to Clipboard Toggle word wrap
7. granite- 3.3-8b-instruct モデルは models/ フォルダーにダウンロードします。詳細は、Downloading models を参照してください。

8. VLLM_AIU_PCIE_IDS 変数の Spyre ID を収集します。

   $ lspci

   Copy to Clipboard Toggle word wrap

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

   Copy to Clipboard Toggle word wrap

9. SPYRE_IDS 変数を設定します。

   $ SPYRE_IDS="0381:50:00.0 0382:60:00.0 0383:70:00.0 0384:80:00.0"

   Copy to Clipboard Toggle word wrap

10. AI 推論サーバーコンテナーを起動します。たとえば、エンティティー抽出の推論サービス用に設定された granite-3.3-8b-instruct モデルをデプロイします。

    podman run \
        --device=/dev/vfio \
        -v $HOME/models:/models \
        -e AIU_PCIE_IDS="${SPYRE_IDS}" \
        -e VLLM_SPYRE_USE_CB=1 \
        --pids-limit 0 \
        --userns=keep-id \
        --group-add=keep-groups \
        --memory 200G \
        --shm-size 64G \
        -p 8000:8000 \
        registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
            --model /models/granite-3.3-8b-instruct \
            -tp 4 \
            --max-model-len 32768 \
            --max-num-seqs 32

    Copy to Clipboard Toggle word wrap