第3章 テクノロジープレビュー機能
このセクションでは、Red Hat OpenShift AI 2.16 のテクノロジープレビュー機能について説明します。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat では、実稼働環境での使用を推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
- RStudio Server ノートブックイメージ
RStudio Server ノートブックイメージを使用すると、R の統合開発環境である RStudio IDE にアクセスできます。R プログラミング言語は、データ分析と予測をサポートするために統計的なコンピューティングとグラフィックスに使用されます。
RStudio Server ノートブックイメージを使用するには、まずシークレットを作成して
BuildConfigをトリガーしてから、rstudio-rhel9イメージストリームを編集して OpenShift AI UI でこれを有効にする必要があります。詳細 については、RStudio サーバーワークベンチイメージのビルド を 参照してください。重要免責事項: Red Hat は、OpenShift AI のワークベンチの管理をサポートしています。ただし、Red Hat は RStudio ソフトウェアのサポートを提供していません。RStudio Server は rstudio.org から入手できます。RStudio Server には RStudio のライセンス条項が適用されます。このサンプルワークベンチを使用する前に、ライセンス条項を確認してください。
- CUDA - RStudio Server ノートブックイメージ
CUDA - RStudio Server ノートブックイメージを使用すると、RStudio IDE および NVIDIA CUDA Toolkit にアクセスできます。RStudio IDE は、統計コンピューティングおよびグラフィックス用の R プログラミング言語の統合開発環境です。NVIDIA CUDA Toolkit を使用すると、GPU により高速化されたライブラリーと最適化ツールを使用して作業を強化できます。
CUDA - RStudio Server ノートブックイメージを使用するには、まずシークレットを作成して
BuildConfigをトリガーしてから、rstudio-rhel9イメージストリームを編集して OpenShift AI UI でこれを有効にする必要があります。詳細 については、RStudio サーバーワークベンチイメージのビルド を 参照してください。重要免責事項: Red Hat は、OpenShift AI のワークベンチの管理をサポートしています。ただし、Red Hat は RStudio ソフトウェアのサポートを提供していません。RStudio Server は rstudio.org から入手できます。RStudio Server には RStudio のライセンス条項が適用されます。このサンプルワークベンチを使用する前に、ライセンス条項を確認してください。
CUDA - RStudio Server ノートブックイメージには、NVIDIA CUDA テクノロジーが含まれています。CUDA のライセンス情報は、CUDA Toolkit のドキュメントで入手できます。このサンプルワークベンチを使用する前に、ライセンス条項を確認してください。
- AMD GPU のサポート
- AMD ROCm ワークベンチイメージは、AMD グラフィックスプロセッシングユニット (GPU) Operator のサポートを追加し、コンピュートを集中的に使用するアクティビティーの処理パフォーマンスを大幅に向上させます。この機能により、AI ワークロードおよび幅広いモデルをサポートするドライバー、開発ツール、API へのアクセスが提供されます。さらに、AMD ROCm ワークベンチイメージには、TensorFlow や PyTorch などの AI フレームワークをサポートする機械学習ライブラリーが含まれています。テクノロジープレビューリリースは、AMD GPU を使用したサービスの提供とトレーニング、またはユースケースのチューニングに使用できるイメージへのアクセスも提供します。
- モデルレジストリー
- OpenShift AI が Model Registry Operator をサポートするようになりました。Model Registry Operator は、テクノロジープレビューモードではデフォルトではインストールされていません。モデルレジストリーは、機械学習モデルの開始からデプロイメントまでに関するメタデータを格納する中央リポジトリーです。
- NVIDIA NIM モデルサービングプラットフォーム
NVIDIA NIM モデルサービングプラットフォームを使用すると、OpenShift AI で NVIDIA NIM 推論サービスを使用して NVIDIA に最適化されたモデルをデプロイできます。NVIDIA AI Enterprise の一部である NVIDIA NIM は、クラウド、データセンター、ワークステーション全体にわたる高性能 AI モデル推論の安全で信頼性の高いデプロイメントを目的として設計された、使いやすいマイクロサービスのセットです。オープンソースコミュニティーや NVIDIA AI Foundation モデルを含む幅広い AI モデルをサポートし、業界標準の API を活用して、オンプレミスでもクラウドでもシームレスでスケーラブルな AI 推論を実現します。OpenShift AI で NVIDIA NIM モデルサービングプラットフォームを有効にするには、NVIDIA AI Enterprise ライセンスキーが必要です。
詳細は、About the NVIDIA NIM model serving platform を参照してください。
- モデル保存用の OCI コンテナー
モデルサービングには、クラウドストレージサービスの代替として OCI ストレージを使用できます。まず、モデルを格納する OCI コンテナーイメージを作成します。イメージは、Quay などの OCI 互換レジストリーにアップロードされます。その後、モデルのデプロイ時に、モデルサービングプラットフォームはコンテナー化されたモデルのリポジトリーを参照します。
OCI コンテナーの使用には、次のような利点があります。
- クラスターがダウンロードしたイメージのキャッシュを保持するため、起動時間が短縮されます。モデル Pod を再起動しても、モデルは再度ダウンロードされません。
- Pod が同じノードにスケジューリングされている場合、各 Pod レプリカにモデルがダウンロードされないため、ディスク領域の使用量が少なくなります。
- イメージのプリフェッチや非同期読み込み時のパフォーマンスが向上します。
- KServe と簡単に統合できるため、互換性と統合性を確保できます。追加の依存関係は必要なく、インフラストラクチャーはすでに利用可能である可能性があります。
- 非常に大きなモデルのマルチノードデプロイメントをサポート
- ランタイムを提供する単一モデルを使用する場合、複数のグラフィカルプロセッシングユニット(GPU)ノードを介してモデルを提供する機能が、テクノロジープレビュー機能として利用可能になりました。複数の GPU ノードにモデルをデプロイし、大規模な言語モデル(LLM)などの大規模なモデルをデプロイする際の効率を向上させます。詳細は、複数の GPU ノードにまたがるモデルのデプロイ を 参照してください。
- Intel Gaudi 3 アクセラレーターのサポート
- Intel Gaudi 3 アクセラレーターのサポートがテクノロジープレビュー機能として利用可能になりました。KServe ランタイムに対する Gaudi アクセラレーターサポートを備えた vLLM ServingRuntime は、Intel Gaudi accelerator をサポートする高スループットおよびメモリー効率が高いことと、ランタイムを提供するものです。詳細は、シングルモデル提供プラットフォームへのモデルのデプロイ を参照し てください。
