スタートガイド

1. AI Inference Server を使用したサービングおよび推論
2. 主要なメトリクスを使用した Red Hat AI Inference Server の利点の検証

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、関連する NVIDIA CUDA イメージを取得します。

   $ podman pull registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.1

   Copy to Clipboard Toggle word wrap

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

   Copy to Clipboard Toggle word wrap

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir -p rhaiis-cache

   Copy to Clipboard Toggle word wrap

   $ chmod g+rwX rhaiis-cache

   Copy to Clipboard Toggle word wrap

5. HF_TOKEN Hugging Face トークンを作成するか、private.env ファイルに追加します。source コマンドで private.env ファイルを読み込みます。

   $ echo "export HF_TOKEN=<your_HF_token>" > private.env

   Copy to Clipboard Toggle word wrap

   $ source private.env

   Copy to Clipboard Toggle word wrap

6. AI Inference Server コンテナーイメージを起動します。

   1. NVIDIA CUDA アクセラレーターの場合、ホストシステムに複数の GPU があり、NVSwitch を使用している場合は、NVIDIA Fabric Manager を起動します。システムで NVSwitch が使用されているかどうかを検出するには、まず /proc/driver/nvidia-nvswitch/devices/ にファイルが存在するかどうかを確認してから NVIDIA Fabric Manager を起動します。NVIDIA Fabric Manager を起動するには root 権限が必要です。

      $ ls /proc/driver/nvidia-nvswitch/devices/

      Copy to Clipboard Toggle word wrap

      出力例

      0000:0c:09.0  0000:0c:0a.0  0000:0c:0b.0  0000:0c:0c.0  0000:0c:0d.0  0000:0c:0e.0

      Copy to Clipboard Toggle word wrap

      $ systemctl start nvidia-fabricmanager

      Copy to Clipboard Toggle word wrap
      重要

      NVIDIA Fabric Manager は、NVswitch を使用する複数の GPU を搭載したシステムにのみ必要です。詳細は、NVIDIA Server Architectures を参照してください。

      1. 次のコマンドを実行して、Red Hat AI Inference Server コンテナーがホスト上の NVIDIA GPU にアクセスできることを確認します。

         $ podman run --rm -it \
         --security-opt=label=disable \
         --device nvidia.com/gpu=all \
         nvcr.io/nvidia/cuda:12.4.1-base-ubi9 \
         nvidia-smi

         Copy to Clipboard Toggle word wrap

         出力例

         +-----------------------------------------------------------------------------------------+
         | NVIDIA-SMI 570.124.06             Driver Version: 570.124.06     CUDA Version: 12.8     |
         |-----------------------------------------+------------------------+----------------------+
         | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
         | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
         |                                         |                        |               MIG M. |
         |=========================================+========================+======================|
         |   0  NVIDIA A100-SXM4-80GB          Off |   00000000:08:01.0 Off |                    0 |
         | N/A   32C    P0             64W /  400W |       1MiB /  81920MiB |      0%      Default |
         |                                         |                        |             Disabled |
         +-----------------------------------------+------------------------+----------------------+
         |   1  NVIDIA A100-SXM4-80GB          Off |   00000000:08:02.0 Off |                    0 |
         | N/A   29C    P0             63W /  400W |       1MiB /  81920MiB |      0%      Default |
         |                                         |                        |             Disabled |
         +-----------------------------------------+------------------------+----------------------+
         
         +-----------------------------------------------------------------------------------------+
         | Processes:                                                                              |
         |  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
         |        ID   ID                                                               Usage      |
         |=========================================================================================|
         |  No running processes found                                                             |
         +-----------------------------------------------------------------------------------------+

         Copy to Clipboard Toggle word wrap

      2. コンテナーを起動します。

         $ podman run --rm -it \
         --device nvidia.com/gpu=all \
         --security-opt=label=disable \ 

         1

         
         --shm-size=4g -p 8000:8000 \ 

         2

         
         --userns=keep-id:uid=1001 \ 

         3

         
         --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \ 

         4

         
         --env "HF_HUB_OFFLINE=0" \
         --env=VLLM_NO_USAGE_STATS=1 \
         -v ./rhaiis-cache:/opt/app-root/src/.cache:Z \ 

         5

         
         registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.1 \
         --model RedHatAI/Llama-3.2-1B-Instruct-FP8 \
         --tensor-parallel-size 2 

         6

         Copy to Clipboard Toggle word wrap

         1

         SELinux が有効になっているシステムに必要です。--security-opt=label=disable は、SELinux がボリュームマウント内のファイルを再ラベル付けするのを防ぎます。この引数を使用しない場合、コンテナーが正常に実行されない可能性があります。

         2

         共有メモリーに問題が発生する場合は、--shm-size を 8GB に増やしてください。

         3

         ホスト UID をコンテナー内の vLLM プロセスの有効な UID にマッピングします。--user=0 を渡すこともできますが、これは --userns オプションよりも安全性が低くなります。--user=0 を設定すると、コンテナー内で vLLM が root として実行されます。

         4

         Hugging Face API アクセストークン を使用して HF_TOKEN を設定してエクスポートします。

         5

         SELinux が有効になっているシステムに必要です。Debian または Ubuntu オペレーティングシステムの場合、または SELinux なしで Docker を使用する場合は、:Z 接尾辞は使用できません。

         6

         AI Inference Server コンテナーを複数の GPU で実行する場合は、GPU の数に合わせて --tensor-parallel-size を設定します。

7. ターミナルの別のタブで、API を使用してモデルにリクエストを送信します。

   curl -X POST -H "Content-Type: application/json" -d '{
       "prompt": "What is the capital of France?",
       "max_tokens": 50
   }' http://<your_server_ip>:8000/v1/completions | jq

   Copy to Clipboard Toggle word wrap

   出力例

   {
       "id": "cmpl-b84aeda1d5a4485c9cb9ed4a13072fca",
       "object": "text_completion",
       "created": 1746555421,
       "model": "RedHatAI/Llama-3.2-1B-Instruct-FP8",
       "choices": [
           {
               "index": 0,
               "text": " Paris.\nThe capital of France is Paris.",
               "logprobs": null,
               "finish_reason": "stop",
               "stop_reason": null,
               "prompt_logprobs": null
           }
       ],
       "usage": {
           "prompt_tokens": 8,
           "total_tokens": 18,
           "completion_tokens": 10,
           "prompt_tokens_details": null
       }
   }

   Copy to Clipboard Toggle word wrap

手順

1. サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、AMD ROCm イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.1

   Copy to Clipboard Toggle word wrap

3. システムで SELinux が有効になっている場合は、デバイスアクセスを許可するように SELinux を設定します。

   $ sudo setsebool -P container_use_devices 1

   Copy to Clipboard Toggle word wrap

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir -p rhaiis-cache

   Copy to Clipboard Toggle word wrap

   $ chmod g+rwX rhaiis-cache

   Copy to Clipboard Toggle word wrap

5. HF_TOKEN Hugging Face トークンを作成するか、private.env ファイルに追加します。source コマンドで private.env ファイルを読み込みます。

   $ echo "export HF_TOKEN=<your_HF_token>" > private.env

   Copy to Clipboard Toggle word wrap

   $ source private.env

   Copy to Clipboard Toggle word wrap

6. AI Inference Server コンテナーイメージを起動します。

   1. AMD ROCm アクセラレーターの場合:

      1. amd-smi static -a を使用して、コンテナーがホストシステムの GPU にアクセスできることを確認します。

         $ podman run -ti --rm --pull=newer \
         --security-opt=label=disable \
         --device=/dev/kfd --device=/dev/dri \
         --group-add keep-groups \ 

         1

         
         --entrypoint="" \
         registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.1 \
         amd-smi static -a

         Copy to Clipboard Toggle word wrap

         1

         GPU を使用するには、AMD システムのビデオグループとレンダリンググループの両方に属している必要があります。GPU にアクセスするには、--group-add=keep-groups で補助グループオプションをコンテナーに渡す必要があります。

      2. コンテナーを起動します。

         podman run --rm -it \
         --device /dev/kfd --device /dev/dri \
         --security-opt=label=disable \ 

         1

         
         --group-add keep-groups \
         --shm-size=4GB -p 8000:8000 \ 

         2

         
         --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \
         --env "HF_HUB_OFFLINE=0" \
         --env=VLLM_NO_USAGE_STATS=1 \
         -v ./rhaiis-cache:/opt/app-root/src/.cache \
         registry.redhat.io/rhaiis/vllm-rocm-rhel9:3.2.1 \
         --model RedHatAI/Llama-3.2-1B-Instruct-FP8 \
         --tensor-parallel-size 2 

         3

         Copy to Clipboard Toggle word wrap

         1

         --security-opt=label=disable は、SELinux がボリュームマウント内のファイルを再ラベル付けするのを防ぎます。この引数を使用しない場合、コンテナーが正常に実行されない可能性があります。

         2

         共有メモリーに問題が発生する場合は、--shm-size を 8GB に増やしてください。

         3

         AI Inference Server コンテナーを複数の GPU で実行する場合は、GPU の数に合わせて --tensor-parallel-size を設定します。

7. ターミナルの別のタブで、API を使用してモデルにリクエストを送信します。

   curl -X POST -H "Content-Type: application/json" -d '{
       "prompt": "What is the capital of France?",
       "max_tokens": 50
   }' http://<your_server_ip>:8000/v1/completions | jq

   Copy to Clipboard Toggle word wrap

   出力例

   {
       "id": "cmpl-b84aeda1d5a4485c9cb9ed4a13072fca",
       "object": "text_completion",
       "created": 1746555421,
       "model": "RedHatAI/Llama-3.2-1B-Instruct-FP8",
       "choices": [
           {
               "index": 0,
               "text": " Paris.\nThe capital of France is Paris.",
               "logprobs": null,
               "finish_reason": "stop",
               "stop_reason": null,
               "prompt_logprobs": null
           }
       ],
       "usage": {
           "prompt_tokens": 8,
           "total_tokens": 18,
           "completion_tokens": 10,
           "prompt_tokens_details": null
       }
   }

   Copy to Clipboard Toggle word wrap

手順

1. TPU サーバーホストでターミナルを開き、registry.redhat.io にログインします。

   $ podman login registry.redhat.io

   Copy to Clipboard Toggle word wrap

2. 次のコマンドを実行して、Red Hat AI Inference Server イメージをプルします。

   $ podman pull registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.1

   Copy to Clipboard Toggle word wrap

3. オプション: ホストで TPU が使用可能であることを確認します。

   1. Red Hat AI Inference Server コンテナーでシェルプロンプトを開きます。以下のコマンドを実行します。

      $ podman run -it --net=host --privileged -e PJRT_DEVICE=TPU --rm --entrypoint /bin/bash registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.1

      Copy to Clipboard Toggle word wrap

   2. コンテナーシェルプロンプトで次の Python コードを実行して、システム TPU アクセスと基本操作を確認します。

      $ python3 -c "
      import torch
      import torch_xla
      try:
          device = torch_xla.device()
          print(f'')
          print(f'XLA device available: {device}')
          x = torch.randn(3, 3).to(device)
          y = torch.randn(3, 3).to(device)
          z = torch.matmul(x, y)
          import torch_xla.core.xla_model as xm
          torch_xla.sync()
          print(f'Matrix multiplication successful')
          print(f'Result tensor shape: {z.shape}')
          print(f'Result tensor device: {z.device}')
          print(f'Result tensor: {z.data}')
          print('TPU is operational.')
      except Exception as e:
          print(f'TPU test failed: {e}')
          print('Try restarting the container to clear TPU locks')
      "

      Copy to Clipboard Toggle word wrap

      出力例

      XLA device available: xla:0
      Matrix multiplication successful
      Result tensor shape: torch.Size([3, 3])
      Result tensor device: xla:0
      Result tensor: tensor([[-1.8161,  1.6359, -3.1301],
              [-1.2205,  0.8985, -1.4422],
              [ 0.0588,  0.7693, -1.5683]], device='xla:0')
      TPU is operational.

      Copy to Clipboard Toggle word wrap

   3. シェルプロンプトを終了します。

      $ exit

      Copy to Clipboard Toggle word wrap

4. ボリュームを作成してコンテナーにマウントします。コンテナーが使用できるようにコンテナーの権限を調整します。

   $ mkdir ./.cache/rhaiis

   Copy to Clipboard Toggle word wrap

   $ chmod g+rwX ./.cache/rhaiis

   Copy to Clipboard Toggle word wrap

5. HF_TOKEN Hugging Face トークンを private.env ファイルに追加します。

   $ echo "export HF_TOKEN=<huggingface_token>" > private.env

   Copy to Clipboard Toggle word wrap

6. HF_HOME 変数を private.env ファイルに追加します。

   $ echo "export HF_HOME=./.cache/rhaiis" >> private.env

   Copy to Clipboard Toggle word wrap

   source コマンドで private.env ファイルを読み込みます。

   $ source private.env

   Copy to Clipboard Toggle word wrap

7. AI Inference Server コンテナーイメージを起動します。

   podman run --rm -it \
     --name vllm-tpu \
     --network=host \
     --privileged \
     --shm-size=4g \
     --device=/dev/vfio/vfio \
     --device=/dev/vfio/0 \
     -e PJRT_DEVICE=TPU \
     -e HF_HUB_OFFLINE=0 \
     -v ./.cache/rhaiis:/opt/app-root/src/.cache \
     registry.redhat.io/rhaiis/vllm-tpu-rhel9:3.2.1 \
     --model Qwen/Qwen2.5-1.5B-Instruct \
     --tensor-parallel-size 1 \ 

   1

   
     --max-model-len=256 \
     --host=0.0.0.0 \
     --port=8000

   Copy to Clipboard Toggle word wrap

   1

   TPU の数に合わせて --tensor-parallel-size を設定します。

手順

1. ホストシステムで、AI Inference Server を起動し、モデルをサービングします。

   $ podman run --rm -it --device nvidia.com/gpu=all \
   --shm-size=4GB -p 8000:8000 \
   --env "HUGGING_FACE_HUB_TOKEN=$HF_TOKEN" \
   --env "HF_HUB_OFFLINE=0" \
   -v ./rhaiis-cache:/opt/app-root/src/.cache \
   --security-opt=label=disable \
   registry.redhat.io/rhaiis/vllm-cuda-rhel9:3.2.1 \
   --model RedHatAI/Llama-3.2-1B-Instruct-FP8

   Copy to Clipboard Toggle word wrap

2. 別のターミナルタブで、ベンチマークツールの依存関係をインストールします。

   $ pip install vllm pandas datasets

   Copy to Clipboard Toggle word wrap

3. vLLM Git repository のクローンを作成します。

   $ git clone https://github.com/vllm-project/vllm.git

   Copy to Clipboard Toggle word wrap

4. ./vllm/benchmarks/benchmark_serving.py スクリプトを実行します。

   $ python vllm/benchmarks/benchmark_serving.py --backend vllm --model RedHatAI/Llama-3.2-1B-Instruct-FP8 --num-prompts 100 --dataset-name random  --random-input 1024 --random-output 512 --port 8000

   Copy to Clipboard Toggle word wrap