7.2. Intel Gaudi AI アクセラレーターの統合

手順

1. Intel Gaudi Base Operator OpenShift のインストール の説明に従って、最新バージョンの Intel Gaudi Base Operator をインストールします。

2. OpenShift では、デフォルトで Pod あたりの PID 制限が 4096 に設定されます。複数の Gaudi アクセラレーターを使用する場合や、Ray で vLLM を使用する場合など、ワークロードにさらに多くの処理能力が必要な場合は、リソースが Resource temporarily unavailable というエラーを回避するために、Pod ごとの PID 制限を手動で増やす必要があります。このエラーは PID の枯渇により発生します。Red Hat はこの制限を 32768 に設定することを推奨していますが、20000 を超える値であれば十分です。

   1. 次のコマンドを実行してノードにラベルを付けます。

      oc label node <node_name> custom-kubelet=set-pod-pid-limit-kubelet

      Copy to Clipboard Toggle word wrap
   2. オプション: 影響を受けるノードへのワークロード分散を防ぐには、メンテナンスの準備中に、そのノードをスケジュール不可としてマークし、ドレインすることができます。詳細は、ノード上の Pod を退避させる方法 を参照してください。

   3. custom-kubelet-pidslimit.yaml KubeletConfig リソースファイルを作成します。

      oc create -f custom-kubelet-pidslimit.yaml

      Copy to Clipboard Toggle word wrap

   4. 次の YAML コードをファイルに入力します。PodPidsLimit 値を 32768 に設定します。

      apiVersion: machineconfiguration.openshift.io/v1
      kind: KubeletConfig
      metadata:
        name: custom-kubelet-pidslimit
      spec:
        kubeletConfig:
          PodPidsLimit: 32768
        machineConfigPoolSelector:
          matchLabels:
            custom-kubelet: set-pod-pid-limit-kubelet

      Copy to Clipboard Toggle word wrap

   5. 設定を適用します。

      oc apply -f custom-kubelet-pidslimit.yaml

      Copy to Clipboard Toggle word wrap

      この操作によりノードが再起動します。詳細は、ノードの再起動について を参照してください。

   6. オプション: 以前にノードをスケジュール不可とマークした場合は、ノードの再起動後に再度スケジュールを許可できます。
3. カスタムワークベンチイメージの作成 の説明に従って、Intel Gaudi AI アクセラレーターのカスタムワークベンチイメージを作成します。

4. Intel Gaudi Base Operator をインストールした後、アクセラレータープロファイルの操作 の説明に従ってアクセラレータープロファイルを作成します。

   重要

   デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ダッシュボードのナビゲーションメニューの Settings Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。