3.18. NVIDIA NIM モデルサービングプラットフォームについて
NVIDIA NIM モデルサービングプラットフォーム で NVIDIA NIM 推論サービスを使用してモデルを展開できます。
NVIDIA AI Enterprise の一部である NVIDIA NIM は、クラウド、データセンター、ワークステーションをまたいで推論を実行する高性能 AI モデルの、セキュアで信頼性の高いデプロイメントのために設計されたマイクロサービスのセットです。
現在、NVIDIA NIM モデルサービングプラットフォーム は Red Hat OpenShift AI でテクノロジープレビュー機能としてのみ使用できます。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat では、実稼働環境での使用を推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
関連情報
3.18.1. NVIDIA NIM モデルサービングプラットフォームの有効化
管理者は、Red Hat OpenShift AI ダッシュボードを使用して、NVIDIA NIM モデルサービングプラットフォームを有効にできます。
現在、NVIDIA NIM モデルサービングプラットフォーム は Red Hat OpenShift AI でテクノロジープレビュー機能としてのみ使用できます。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat では、実稼働環境での使用を推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
以前に OpenShift AI 2.14 または 2.15 で NVIDIA NIM モデル提供プラットフォーム を有効にし、2.16 にアップグレードした場合は、NVIDIA AI Enterprise ライセンスキーを再入力してから、NVIDIA NIM モデルサービス提供プラットフォームを再度有効にします。
前提条件
- Red Hat OpenShift AI に管理者としてログインしている。
- シングルモデルサービスプラットフォームの有効化 の説明に従って、シングルモデルサービスプラットフォームを有効にした。
次の OpenShift AI ダッシュボード設定が有効になっている。
disableNIMModelServing: false
詳細は、ダッシュボード設定オプション を参照してください。
- OpenShift AI で GPU サポートを有効にした。詳細は、NVIDIA GPU の有効化 を参照してください。
- NVIDIA AI Enterprise ライセンスキーにアクセスできる。
手順
- OpenShift AI ホームページで、Explore をクリックします。
- Explore ページで、NVIDIA NIM タイルを見つけます。
- アプリケーションタイルで Enable をクリックします。
- NVIDIA AI Enterprise ライセンスキーを入力し、Submit をクリックします。
検証
- 有効にした NVIDIA NIM アプリケーションが Enabled ページに表示されます。
3.18.2. NVIDIA NIM モデルサービングプラットフォームにモデルをデプロイする
NVIDIA NIM モデルサービングプラットフォーム を有効にすると、プラットフォーム上で NVIDIA 向けに最適化されたモデルのデプロイを開始できます。
現在、NVIDIA NIM モデルサービングプラットフォーム は Red Hat OpenShift AI でテクノロジープレビュー機能としてのみ使用できます。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat では、実稼働環境での使用を推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
前提条件
- Red Hat OpenShift AI にログインしている。
-
OpenShift AI グループを使用している場合は、OpenShift のユーザーグループまたは管理者グループ (
rhoai-usersやrhoai-adminsなど) に属している。 - NVIDIA NIM モデルサービングプラットフォーム を有効にした。
- データサイエンスプロジェクトを作成した。
モデルサーバーでグラフィックスプロセッシングユニット (GPU) を使用する場合は、OpenShift AI で GPU サポートを有効にしている。NVIDIA GPU の有効化 を参照してください。
注記OpenShift AI 2.15 では、Red Hat はモデルサービング用に NVIDIA GPU アクセラレーターのみをサポートしています。
手順
左側のメニューで、Data Science Projects をクリックします。
Data Science Projects ページが開きます。
モデルをデプロイするプロジェクトの名前をクリックします。
プロジェクトの詳細ページが開きます。
- Models タブをクリックします。
NVIDIA NIM model serving platform タイルで、Deploy model をクリックします。
Deploy model ダイアログが開きます。
モデルをデプロイするためのプロパティーを次のように設定します。
- Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
- NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。
- NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
- Number of model server replicas to deploy フィールドに値を指定します。
- Model server size リストから値を選択します。
Accelerator リストから、NVIDIA GPU アクセラレーターを選択します。
Number of accelerators フィールドが表示されます。
- Number of accelerators フィールドで、使用するアクセラレーターの数を指定します。デフォルト値は 1 です。
- Deploy をクリックします。
検証
- デプロイされたモデルがプロジェクトの Models タブに表示され、ダッシュボードの Model Serving ページで Status 列にチェックマークが付いて表示されていることを確認します。
