2.19. NVIDIA NIM モデルサービングプラットフォームについて

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Applications Explore をクリックします。
2. Explore ページで、NVIDIA NIM タイルを見つけます。
3. アプリケーションタイルで Enable をクリックします。
4. NGC API キーを入力し、Submit をクリックします。

手順

1. 左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models セクションで、次のいずれかの操作クションを実行します。

   • NVIDIA NIM model serving platform タイルで、タイル上の Select NVIDIA NIM をクリックし、Deploy model をクリックします。
   • 以前に NVIDIA NIM モデルサービングタイプを選択した場合は、Models ページの右上隅に NVIDIA model serving enabled が表示され、Deploy model ボタンも表示されます。続行するには、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。詳細は、Supported Models を参照してください。
   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

6. Hardware profile リストから、ハードウェアプロファイルを選択します。

   重要

   デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

7. オプション: Customize resource requests and limit をクリックし、次の値を更新します。

   1. CPUs requests フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limits フィールドで、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requests フィールドで、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limits フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。
8. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

9. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

   1. Require token authentication を選択します。
   2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
   3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。
10. Deploy をクリックします。

手順

1. ターミナルウィンドウで、以下の例のように、クラスター管理者として OpenShift CLI にログインします。

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 次の例のような、NVIDIA NIM モデルサービスプラットフォームで選択できるようにするモデル ID を含む ConfigMap オブジェクトを YAML ファイルで定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. Account CR の名前および namespace を確認します。

   oc get account -A

   Copy to Clipboard Toggle word wrap

   次の例のような出力が表示されます。

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. ConfigMap オブジェクトを Account CR と同じ namespace にデプロイします。

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   <configmap-name> は YAML ファイルの名前に、<namespace> は Account CR の namespace に置き換えます。

5. 以前に作成した ConfigMap オブジェクトを、Account CR の spec.modelListConfig セクションに追加します。

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   <account-name> は Account CR の名前に、<configmap-name> は ConfigMap オブジェクトに置き換えます。

6. ConfigMap オブジェクトが Account CR に追加されたことを確認します。

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   以下の出力のように、Account CR の spec.modelListConfig セクションに ConfigMap オブジェクトが表示されます。

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視する NIM モデルを含むプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 確認する NIM モデルをクリックします。

5. NIM Metrics タブで、以下のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. NIM メトリクスのデータグラフを表示するには、下にスクロールします。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視する NIM モデルを含むプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 確認する NIM モデルをクリックします。

5. Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • Refresh interval - メトリクスページのグラフを更新して最新のデータを表示する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、パフォーマンスメトリクスのデータグラフが表示されます。