第7章 IBM Spyre AI アクセラレーターを使用した IBM Power での Podman による推論

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. servicereport コマンドを実行して、IBM Spyre ハードウェアを確認します。

   $ servicereport -r -p spyre

   出力例

   servicereport 2.2.5
   
   Spyre configuration checks                          PASS
   
     VFIO Driver configuration                         PASS
     User memlock configuration                        PASS
     sos config                                        PASS
     sos package                                       PASS
     VFIO udev rules configuration                     PASS
     User group configuration                          PASS
     VFIO device permission                            PASS
     VFIO kernel module loaded                         PASS
     VFIO module dep configuration                     PASS
   
   Memlock limit is set for the sentient group.
   Spyre user must be in the sentient group.
   To add run below command:
           sudo usermod -aG sentient <user>
           Example:
           sudo usermod -aG sentient abc
           Re-login as <user>.

3. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

4. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

5. lspci -v を使用して、コンテナーがホストシステムの IBM Spyre AI アクセラレーターにアクセスできることを確認します。

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

6. コンテナーにマウントするボリュームを作成し、コンテナーが使用できるようにコンテナーのパーミッションを調整します。

   $ mkdir -p ~/models && chmod g+rwX ~/models

7. granite- 3.3-8b-instruct モデルは models/ フォルダーにダウンロードします。詳細は、Downloading models を参照してください。

8. VLLM_AIU_PCIE_IDS 変数の Spyre ID を収集します。

   $ lspci

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

9. SPYRE_IDS 変数を設定します。

   $ SPYRE_IDS="0381:50:00.0 0382:60:00.0 0383:70:00.0 0384:80:00.0"

10. AI 推論サーバーコンテナーを起動します。たとえば、エンティティー抽出の推論サービス用に設定された granite-3.3-8b-instruct モデルをデプロイします。

    podman run \
        --device=/dev/vfio \
        -v $HOME/models:/models \
        -e AIU_PCIE_IDS="${SPYRE_IDS}" \
        -e VLLM_SPYRE_USE_CB=1 \
        --pids-limit 0 \
        --userns=keep-id \
        --group-add=keep-groups \
        --memory 200G \
        --shm-size 64G \
        -p 8000:8000 \
        registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
            --model /models/granite-3.3-8b-instruct \
            -tp 4 \
            --max-model-len 32768 \
            --max-num-seqs 32