スタートガイド

1. AI Inference Server を使用したサービングおよび推論
2. 主要なメトリクスを使用した Red Hat AI Inference Server の利点の検証

手順

1. インストールされているすべての Python パッケージを表示するには、pip list package コマンドを使用して Red Hat AI Inference Server コンテナーイメージを実行します。以下に例を示します。

   $ podman run --rm --entrypoint=/bin/bash \
     registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5 \
     -c "pip list"

2. 特定のパッケージの詳細情報を表示するには、pip show <package_name> で Podman コマンドを実行します。以下に例を示します。

   $ podman run --rm --entrypoint=/bin/bash \
     registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5 \
     -c "pip show vllm"

   出力例

   Name: vllm
   Version: v0.11.2

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. 次のコマンドを実行して、関連する NVIDIA CUDA イメージを取得します。

   $ podman pull registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir -p rhaiis-cache

   $ chmod g+rwX rhaiis-cache

5. HF_TOKEN Hugging Face トークンを作成するか、private.env ファイルに追加します。source コマンドで private.env ファイルを読み込みます。

   $ echo "export HF_TOKEN=<your_HF_token>" > private.env

   $ source private.env

6. AI Inference Server コンテナーイメージを起動します。

   1. NVIDIA CUDA アクセラレーターの場合、ホストシステムに複数の GPU があり、NVSwitch を使用している場合は、NVIDIA Fabric Manager を起動します。システムで NVSwitch が使用されているかどうかを検出するには、まず /proc/driver/nvidia-nvswitch/devices/ にファイルが存在するかどうかを確認してから NVIDIA Fabric Manager を起動します。NVIDIA Fabric Manager を起動するには root 権限が必要です。

      $ ls /proc/driver/nvidia-nvswitch/devices/

      出力例

      0000:0c:09.0  0000:0c:0a.0  0000:0c:0b.0  0000:0c:0c.0  0000:0c:0d.0  0000:0c:0e.0

      $ systemctl start nvidia-fabricmanager

      重要

      NVIDIA Fabric Manager は、NVSwitch を使用する複数の GPU を搭載したシステムにのみ必要です。詳細は、NVIDIA Server Architectures を参照してください。

      1. 次のコマンドを実行して、Red Hat AI Inference Server コンテナーがホスト上の NVIDIA GPU にアクセスできることを確認します。

         $ podman run --rm -it \
         --security-opt=label=disable \
         --device nvidia.com/gpu=all \
         nvcr.io/nvidia/cuda:12.4.1-base-ubi9 \
         nvidia-smi

         出力例

         +-----------------------------------------------------------------------------------------+
         | NVIDIA-SMI 570.124.06             Driver Version: 570.124.06     CUDA Version: 12.8     |
         |-----------------------------------------+------------------------+----------------------+
         | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
         | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
         |                                         |                        |               MIG M. |
         |=========================================+========================+======================|
         |   0  NVIDIA A100-SXM4-80GB          Off |   00000000:08:01.0 Off |                    0 |
         | N/A   32C    P0             64W /  400W |       1MiB /  81920MiB |      0%      Default |
         |                                         |                        |             Disabled |
         +-----------------------------------------+------------------------+----------------------+
         |   1  NVIDIA A100-SXM4-80GB          Off |   00000000:08:02.0 Off |                    0 |
         | N/A   29C    P0             63W /  400W |       1MiB /  81920MiB |      0%      Default |
         |                                         |                        |             Disabled |
         +-----------------------------------------+------------------------+----------------------+
         
         +-----------------------------------------------------------------------------------------+
         | Processes:                                                                              |
         |  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
         |        ID   ID                                                               Usage      |
         |=========================================================================================|
         |  No running processes found                                                             |
         +-----------------------------------------------------------------------------------------+

      2. コンテナーを起動します。

         $ podman run --rm -it \
         --device nvidia.com/gpu=all \
         --security-opt=label=disable \ 

         1

         
         --shm-size=4g -p 8000:8000 \ 

         2

         
         --userns=keep-id:uid=1001 \ 

         3

         
         --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \ 

         4

         
         --env "HF_HUB_OFFLINE=0" \
         -v ./rhaiis-cache:/opt/app-root/src/.cache:Z \ 

         5

         
         registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5 \
         --model RedHatAI/Llama-3.2-1B-Instruct-FP8 \
         --tensor-parallel-size 2 

         6

         1

         SELinux が有効になっているシステムに必要です。--security-opt=label=disable は、SELinux がボリュームマウント内のファイルを再ラベル付けするのを防ぎます。この引数を使用しない場合、コンテナーが正常に実行されない可能性があります。

         2

         共有メモリーに問題が発生する場合は、--shm-size を 8GB に増やしてください。

         3

         ホスト UID をコンテナー内の vLLM プロセスの有効な UID にマッピングします。--user=0 を渡すこともできますが、--userns オプションよりもセキュリティーが低くなります。--user=0 を設定すると、コンテナー内で vLLM が root として実行されます。

         4

         Hugging Face API アクセストークン を使用して HF_TOKEN を設定してエクスポートします。

         5

         SELinux が有効になっているシステムに必要です。Debian または Ubuntu オペレーティングシステムの場合、または SELinux なしで Docker を使用する場合は、:Z 接尾辞は使用できません。

         6

         AI Inference Server コンテナーを複数の GPU で実行する場合は、GPU の数に合わせて --tensor-parallel-size を設定します。

7. ターミナルの別のタブで、API を使用してモデルにリクエストを送信します。

   curl -X POST -H "Content-Type: application/json" -d '{
       "prompt": "What is the capital of France?",
       "max_tokens": 50
   }' http://<your_server_ip>:8000/v1/completions | jq

   出力例

   {
       "id": "cmpl-b84aeda1d5a4485c9cb9ed4a13072fca",
       "object": "text_completion",
       "created": 1746555421,
       "model": "RedHatAI/Llama-3.2-1B-Instruct-FP8",
       "choices": [
           {
               "index": 0,
               "text": " Paris.\nThe capital of France is Paris.",
               "logprobs": null,
               "finish_reason": "stop",
               "stop_reason": null,
               "prompt_logprobs": null
           }
       ],
       "usage": {
           "prompt_tokens": 8,
           "total_tokens": 18,
           "completion_tokens": 10,
           "prompt_tokens_details": null
       }
   }

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. 次のコマンドを実行して、AMD ROCm イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.5

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir -p rhaiis-cache

   $ chmod g+rwX rhaiis-cache

5. HF_TOKEN Hugging Face トークンを作成するか、private.env ファイルに追加します。source コマンドで private.env ファイルを読み込みます。

   $ echo "export HF_TOKEN=<your_HF_token>" > private.env

   $ source private.env

6. AI Inference Server コンテナーイメージを起動します。

   1. AMD ROCm アクセラレーターの場合:

      1. amd-smi static -a を使用して、コンテナーがホストシステムの GPU にアクセスできることを確認します。

         $ podman run -ti --rm --pull=newer \
         --security-opt=label=disable \
         --device=/dev/kfd --device=/dev/dri \
         --group-add keep-groups \ 

         1

         
         --entrypoint="" \
         registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.5 \
         amd-smi static -a

         1

         GPU を使用するには、AMD システムのビデオグループとレンダリンググループの両方に属している必要があります。GPU にアクセスするには、--group-add=keep-groups で補助グループオプションをコンテナーに渡す必要があります。

      2. コンテナーを起動します。

         podman run --rm -it \
         --device /dev/kfd --device /dev/dri \
         --security-opt=label=disable \ 

         1

         
         --group-add keep-groups \
         --shm-size=4GB -p 8000:8000 \ 

         2

         
         --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \
         --env "HF_HUB_OFFLINE=0" \
         -v ./rhaiis-cache:/opt/app-root/src/.cache \
         registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.5 \
         --model RedHatAI/Llama-3.2-1B-Instruct-FP8 \
         --tensor-parallel-size 2 

         3

         1

         --security-opt=label=disable は、SELinux がボリュームマウント内のファイルを再ラベル付けするのを防ぎます。この引数を使用しない場合、コンテナーが正常に実行されない可能性があります。

         2

         共有メモリーに問題が発生する場合は、--shm-size を 8GB に増やしてください。

         3

         AI Inference Server コンテナーを複数の GPU で実行する場合は、GPU の数に合わせて --tensor-parallel-size を設定します。

7. ターミナルの別のタブで、API を使用してモデルにリクエストを送信します。

   curl -X POST -H "Content-Type: application/json" -d '{
       "prompt": "What is the capital of France?",
       "max_tokens": 50
   }' http://<your_server_ip>:8000/v1/completions | jq

   出力例

   {
       "id": "cmpl-b84aeda1d5a4485c9cb9ed4a13072fca",
       "object": "text_completion",
       "created": 1746555421,
       "model": "RedHatAI/Llama-3.2-1B-Instruct-FP8",
       "choices": [
           {
               "index": 0,
               "text": " Paris.\nThe capital of France is Paris.",
               "logprobs": null,
               "finish_reason": "stop",
               "stop_reason": null,
               "prompt_logprobs": null
           }
       ],
       "usage": {
           "prompt_tokens": 8,
           "total_tokens": 18,
           "completion_tokens": 10,
           "prompt_tokens_details": null
       }
   }

手順

1. TPU サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.5

3. オプション: ホストで TPU が使用可能であることを確認します。

   1. Red Hat AI Inference Server コンテナーでシェルプロンプトを開きます。以下のコマンドを実行します。

      $ podman run -it --net=host --privileged -e PJRT_DEVICE=TPU --rm --entrypoint /bin/bash registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.5

   2. コンテナーシェルプロンプトで次の Python コードを実行して、システム TPU アクセスと基本操作を確認します。

      $ python3 -c "
      import torch
      import torch_xla
      try:
          device = torch_xla.device()
          print(f'')
          print(f'XLA device available: {device}')
          x = torch.randn(3, 3).to(device)
          y = torch.randn(3, 3).to(device)
          z = torch.matmul(x, y)
          import torch_xla.core.xla_model as xm
          torch_xla.sync()
          print(f'Matrix multiplication successful')
          print(f'Result tensor shape: {z.shape}')
          print(f'Result tensor device: {z.device}')
          print(f'Result tensor: {z.data}')
          print('TPU is operational.')
      except Exception as e:
          print(f'TPU test failed: {e}')
          print('Try restarting the container to clear TPU locks')
      "

      出力例

      XLA device available: xla:0
      Matrix multiplication successful
      Result tensor shape: torch.Size([3, 3])
      Result tensor device: xla:0
      Result tensor: tensor([[-1.8161,  1.6359, -3.1301],
              [-1.2205,  0.8985, -1.4422],
              [ 0.0588,  0.7693, -1.5683]], device='xla:0')
      TPU is operational.

   3. シェルプロンプトを終了します。

      $ exit

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir ./.cache/rhaiis

   $ chmod g+rwX ./.cache/rhaiis

5. HF_TOKEN Hugging Face トークンを private.env ファイルに追加します。

   $ echo "export HF_TOKEN=<huggingface_token>" > private.env

6. HF_HOME 変数を private.env ファイルに追加します。

   $ echo "export HF_HOME=./.cache/rhaiis" >> private.env

   source コマンドで private.env ファイルを読み込みます。

   $ source private.env

7. AI Inference Server コンテナーイメージを起動します。

   podman run --rm -it \
     --name vllm-tpu \
     --network=host \
     --privileged \
     --shm-size=4g \
     --device=/dev/vfio/vfio \
     --device=/dev/vfio/0 \
     -e PJRT_DEVICE=TPU \
     -e HF_HUB_OFFLINE=0 \
     -v ./.cache/rhaiis:/opt/app-root/src/.cache \
     registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.5 \
     --model Qwen/Qwen2.5-1.5B-Instruct \
     --tensor-parallel-size 1 \ 

   1

   
     --max-model-len=256 \ 

   2

   
     --host=0.0.0.0 \
     --port=8000

   1

   TPU の数に合わせて --tensor-parallel-size を設定します。

   2

   最高のパフォーマンスを得るには、ワークロードで許容される限り、max-model-len パラメーターを低く設定してください。

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. servicereport コマンドを実行して、IBM Spyre ハードウェアを確認します。

   $ servicereport -r -p spyre

   出力例

   servicereport 2.2.5
   
   Spyre configuration checks                          PASS
   
     VFIO Driver configuration                         PASS
     User memlock configuration                        PASS
     sos config                                        PASS
     sos package                                       PASS
     VFIO udev rules configuration                     PASS
     User group configuration                          PASS
     VFIO device permission                            PASS
     VFIO kernel module loaded                         PASS
     VFIO module dep configuration                     PASS
   
   Memlock limit is set for the sentient group.
   Spyre user must be in the sentient group.
   To add run below command:
           sudo usermod -aG sentient <user>
           Example:
           sudo usermod -aG sentient abc
           Re-login as <user>.

3. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

4. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

5. lspci -v を使用して、コンテナーがホストシステムの IBM Spyre AI アクセラレーターにアクセスできることを確認します。

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

6. コンテナーにマウントするボリュームを作成し、コンテナーが使用できるようにコンテナーのパーミッションを調整します。

   $ mkdir -p ~/models && chmod g+rwX ~/models

7. granite- 3.3-8b-instruct モデルは models/ フォルダーにダウンロードします。詳細は、Downloading models を参照してください。

8. VLLM_AIU_PCIE_IDS 変数の Spyre ID を収集します。

   $ lspci

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

9. SPYRE_IDS 変数を設定します。

   $ SPYRE_IDS="0381:50:00.0 0382:60:00.0 0383:70:00.0 0384:80:00.0"

10. AI 推論サーバーコンテナーを起動します。たとえば、エンティティー抽出の推論サービス用に設定された granite-3.3-8b-instruct モデルをデプロイします。

    podman run \
        --device=/dev/vfio \
        -v $HOME/models:/models \
        -e AIU_PCIE_IDS="${SPYRE_IDS}" \
        -e VLLM_SPYRE_USE_CB=1 \
        --pids-limit 0 \
        --userns=keep-id \
        --group-add=keep-groups \
        --memory 200G \
        --shm-size 64G \
        -p 8000:8000 \
        registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
            --model /models/granite-3.3-8b-instruct \
            -tp 4 \
            --max-model-len 32768 \
            --max-num-seqs 32

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-spyre:3.2.5

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

4. lspci -v を使用して、コンテナーがホストシステムの IBM Spyre AI アクセラレーターにアクセスできることを確認します。

   $ podman run -it --rm --pull=newer \
       --security-opt=label=disable \
       --device=/dev/vfio \
       --group-add keep-groups \
       --entrypoint="lspci" \
       registry.redhat.io/rhaiis/vllm-spyre:3.2.5

   出力例

   0381:50:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0382:60:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0383:70:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)
   0384:80:00.0 Processing accelerators: IBM Spyre Accelerator (rev 02)

5. コンテナーにマウントするボリュームを作成し、コンテナーが使用できるようにコンテナーのパーミッションを調整します。

   $ mkdir -p ~/models && chmod g+rwX ~/models

6. granite- 3.3-8b-instruct モデルは models/ フォルダーにダウンロードします。詳細は、Downloading models を参照してください。

7. 利用可能な Spyre デバイスの IOMMU グループ ID を収集します。

   $ lspci

   出力例

   0000:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0001:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)
   0002:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev ff)
   0003:00:00.0 Processing accelerators: IBM Spyre Accelerator Virtual Function (rev 02)

   各行は PCI デバイスアドレスで始まります（例 : 0000:00:00.0 ）。

8. PCI アドレスを使用して、必要な Spyre カードの IOMMU グループ ID を確認します。以下に例を示します。

   $ readlink /sys/bus/pci/devices/<PCI_ADDRESS>/iommu_group

   出力例

   ../../../kernel/iommu_groups/0

   IOMMU グループ ID (0)は、readlink 出力の末尾番号です。

   必要な Spyre カードごとに繰り返します。

9. readlink 出力を使用して、必要な Spyre カードの IOMMU_GROUP_ID 変数を設定します。以下に例を示します。

   IOMMU_GROUP_ID0=0
   IOMMU_GROUP_ID1=1
   IOMMU_GROUP_ID2=2
   IOMMU_GROUP_ID3=3

10. AI 推論サーバーコンテナーを起動し、必要な Spyre デバイスの IOMMU グループ ID 変数を渡します。たとえば、4 つの Spyre デバイス全体でエンティティー抽出用に設定された granite-3.3-8b-instruct モデルをデプロイします。

    podman run \
      --device /dev/vfio/vfio \
      --device /dev/vfio/${IOMMU_GROUP_ID0}:/dev/vfio/${IOMMU_GROUP_ID0}  \
      --device /dev/vfio/${IOMMU_GROUP_ID1}:/dev/vfio/${IOMMU_GROUP_ID1}  \
      --device /dev/vfio/${IOMMU_GROUP_ID2}:/dev/vfio/${IOMMU_GROUP_ID2}  \
      --device /dev/vfio/${IOMMU_GROUP_ID3}:/dev/vfio/${IOMMU_GROUP_ID3}  \
      -v $HOME/models:/models:Z \
      --pids-limit 0 \
      --userns=keep-id \
      --group-add=keep-groups \
      --memory 200G \
      --shm-size 64G \
      -p 8000:8000 \
      registry.redhat.io/rhaiis/vllm-spyre:3.2.5 \
        --model /models/granite-3.3-8b-instruct \
        -tp 4 \
        --max-model-len 32768 \
        --max-num-seqs 32

手順

1. ホストシステムで、AI Inference Server を起動し、モデルをサービングします。

   $ podman run --rm -it --device nvidia.com/gpu=all \
   --shm-size=4GB -p 8000:8000 \
   --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \
   --env "HF_HUB_OFFLINE=0" \
   -v ./rhaiis-cache:/opt/app-root/src/.cache \
   --security-opt=label=disable \
   registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.5 \
   --model RedHatAI/Llama-3.2-1B-Instruct-FP8

2. 別のターミナルタブで、ベンチマークツールの依存関係をインストールします。

   $ pip install vllm pandas datasets

3. vLLM Git repository のクローンを作成します。

   $ git clone https://github.com/vllm-project/vllm.git

4. ./vllm/benchmarks/benchmark_serving.py スクリプトを実行します。

   $ python vllm/benchmarks/benchmark_serving.py --backend vllm --model RedHatAI/Llama-3.2-1B-Instruct-FP8 --num-prompts 100 --dataset-name random  --random-input 1024 --random-output 512 --port 8000

手順

1. ターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

2. インストールされている AI アクセラレーター用の特定の Red Hat AI Inference Server コンテナーイメージをプルします。たとえば、Google Cloud TPU 用の Red Hat AI Inference Server コンテナーをプルするには、次のコマンドを実行します。

   $ podman pull registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.5

3. コンテナー内で環境収集スクリプトを実行します。

   $ podman run --rm -it \
     --name vllm-tpu \
     --network=host \
     --privileged \
     --device=/dev/vfio/vfio \
     --device=/dev/vfio/0 \
     -e PJRT_DEVICE=TPU \
     -e HF_HUB_OFFLINE=0 \
     -v ./.cache/rhaiis:/opt/app-root/src/.cache:Z \
     --entrypoint vllm collect-env \
     registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.5