3.20. NVIDIA NIM モデルサービングプラットフォームについて

手順

1. OpenShift AI にログインします。
2. OpenShift AI ダッシュボードの左側のメニューで、Applications Explore をクリックします。
3. Explore ページで、NVIDIA NIM タイルを見つけます。
4. アプリケーションタイルで Enable をクリックします。
5. NGC API キーを入力し、Submit をクリックします。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models セクションで、次のいずれかの操作クションを実行します。

   • NVIDIA NIM model serving platform タイルで、タイル上の Select NVIDIA NIM をクリックし、Deploy model をクリックします。
   • 以前に NVIDIA NIM モデルサービングタイプを選択した場合は、Models ページの右上隅に NVIDIA model serving enabled が表示され、Deploy model ボタンも表示されます。続行するには、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。詳細は、Supported Models を参照してください。
   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

   6. Accelerator リストからアクセラレーターを選択します。

      Number of accelerators フィールドが表示されます。

   7. Number of accelerators フィールドで、使用するアクセラレーターの数を指定します。デフォルト値は 1 です。
6. Deploy をクリックします。