2.12. 複数の GPU ノードを使用したモデルのデプロイ

前提条件

• OpenShift クラスターのクラスター管理者権限を持っている。
• OpenShift コマンドラインインターフェイス (CLI) をダウンロードしてインストールした。詳細は、OpenShift CLI のインストール (Red Hat OpenShift Dedicated) または OpenShift CLI のインストール (Red Hat OpenShift Service on AWS) を参照してください。

• Node Feature Discovery Operator、NVIDIA GPU Operator など、お使いの GPU タイプ用の Operator を有効にした。アクセラレーターの有効化の詳細は、アクセラレーターの有効化 を参照してください。

  • NVIDIA GPU (nvidia.com/gpu) を使用している。
  • ServingRuntime または InferenceService のいずれかを使用して GPU タイプを指定した。ServingRuntime で指定された GPU タイプが InferenceService で設定されたものと異なる場合、両方の GPU タイプがリソースに割り当てられ、エラーが発生する可能性があります。
• クラスターで KServe を有効にした。
• 環境にヘッド Pod が 1 つだけある。InferenceService の min_replicas または max_replicas 設定を使用してレプリカ数を調整しないでください。追加のヘッド Pod を作成すると、それらが Ray クラスターから除外される可能性があります。
• PVC からデプロイする場合: 永続ボリューム要求 (PVC) がセットアップされ、ReadWriteMany (RWX) アクセスモード用に設定されている。

• OCI コンテナーイメージからデプロイする場合:

  • モデルを OCI コンテナーイメージに保存した。
  • モデルがプライベート OCI リポジトリーに保存されている場合は、イメージプルシークレットを設定した。

• GPU リソースのステータスを確認します。

  • ヘッドノードとワーカーノードの Pod 名を取得します。

    # Get pod name
    podName=$(oc get pod -l app=isvc.granite-8b-code-base-pvc-predictor --no-headers|cut -d' ' -f1)
    workerPodName=$(oc get pod -l app=isvc.granite-8b-code-base-pvc-predictor-worker --no-headers|cut -d' ' -f1)
    
    oc wait --for=condition=ready pod/${podName} --timeout=300s
    # Check the GPU memory size for both the head and worker pods:
    echo "### HEAD NODE GPU Memory Size"
    kubectl exec $podName -- nvidia-smi
    echo "### Worker NODE GPU Memory Size"
    kubectl exec $workerPodName -- nvidia-smi

    Copy to Clipboard Toggle word wrap

    応答の例

    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
    |-----------------------------------------+------------------------+----------------------+
    | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
    |                                         |                        |               MIG M. |
    |=========================================+========================+======================|
    |   0  NVIDIA A10G                    On  |   00000000:00:1E.0 Off |                    0 |
    |  0%   33C    P0             71W /  300W |19031MiB /  23028MiB <1>|      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+
             ...
    +-----------------------------------------------------------------------------------------+
    | NVIDIA-SMI 550.90.07              Driver Version: 550.90.07      CUDA Version: 12.4     |
    |-----------------------------------------+------------------------+----------------------+
    | GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
    |                                         |                        |               MIG M. |
    |=========================================+========================+======================|
    |   0  NVIDIA A10G                    On  |   00000000:00:1E.0 Off |                    0 |
    |  0%   30C    P0             69W /  300W |18959MiB /  23028MiB <2>|      0%      Default |
    |                                         |                        |                  N/A |
    +-----------------------------------------+------------------------+----------------------+

    Copy to Clipboard Toggle word wrap

    <1> と <2> の値をチェックして、モデルが適切にロードされたことを確認します。モデルがロードされなかった場合、これらのフィールドの値は 0MiB になります。

• 次のコマンドを使用して、InferenceService のステータスを確認します。注記: テクノロジープレビューでは、推論にポート転送のみを使用できます。

  oc wait --for=condition=ready pod/${podName} -n $DEMO_NAMESPACE --timeout=300s
  export MODEL_NAME=granite-8b-code-base-pvc

  Copy to Clipboard Toggle word wrap

  応答の例

     NAME                 URL                                                   READY   PREV   LATEST   PREVROLLEDOUTREVISION   LATESTREADYREVISION                          AGE
     granite-8b-code-base-pvc   http://granite-8b-code-base-pvc.default.example.com

  Copy to Clipboard Toggle word wrap

• モデルが推論に使用できることを確認するために、モデルにリクエストを送信します。

  oc wait --for=condition=ready pod/${podName} -n vllm-multinode --timeout=300s
  
  oc port-forward $podName 8080:8080 &
  
  curl http://localhost:8080/v1/completions \
         -H "Content-Type: application/json" \
         -d "{
              'model': "$MODEL_NAME",
              'prompt': 'At what temperature does Nitrogen boil?',
              'max_tokens': 100,
              'temperature': 0
          }"

  Copy to Clipboard Toggle word wrap