1.2. Red Hat OpenShift AI Self-Managed を MicroShift で使用するためのワークフロー
Red Hat OpenShift AI Self-Managed を MicroShift で使用するには、次の一般的なワークフローが必要です。
- AI モデルを準備する
- エッジアプリケーションと MicroShift デプロイメントサイトで必要な意思決定に最適な人工知能 (AI) モデルを選択します。
- クラウドまたはデータセンターで、モデルを開発、トレーニング、テストします。
- AI モデルの実行に必要なシステム要件と追加リソースを計画します。
- デプロイメント環境のセットアップ
- Red Hat Device Edge を、ドライバーやデバイスプラグインを含めて、デプロイメントが実行される特定のハードウェアに合わせて設定します。
- MicroShift で GPU またはその他のハードウェアアクセラレーターを有効にするには、使用しているエッジデバイスに特化したガイダンスに従い、必要なソフトウェアをインストールしてください。たとえば、NVIDIA GPU アクセラレーターを使用するには、まずは Running a GPU-Accelerated Workload on Red Hat Device Edge (NVIDIA ドキュメント) を参照してください。
トラブルシューティングは、デバイスのドキュメントまたは製品サポートを参照してください。
ヒントOperator の代わりにドライバーとデバイスプラグインのみを使用すると、リソース効率が向上する可能性があります。
- MicroShift Red Hat OpenShift AI Self-Managed RPM のインストール
-
microshift-ai-model-servingRPM パッケージをインストールします。 - MicroShift の実行中に RPM を追加する場合は、MicroShift を再起動します。
-
- デプロイの準備
- AI モデルを OCI イメージ (ModelCar 形式とも呼ばれます) にパッケージ化します。S3 互換ストレージまたは永続ボリューム要求がすでにセットアップされている場合は、この手順をスキップできますが、MicroShift では ModelCar 形式のみがテストされ、サポートされています。
モデルサーバーとして機能するモデルサービングランタイムを選択します。サービングランタイムと推論サービスを使用して、ランタイムを設定します。
-
ServingRuntimeカスタムリソース (CR) をデフォルトのredhat-ods-applicationsnamespace から独自の namespace にコピーします。 -
InferenceServiceCR を作成します。
-
-
オプション: モデルがクラスターの外部に接続できるように、
Routeオブジェクトを作成します。
- モデルの使用
- モデルサーバーに対してリクエストを実行します。たとえば、カメラに接続された MicroShift デプロイメントで実行されている別の Pod は、モデルサービングランタイムにイメージをストリーミングすることができます。モデルサービングランタイムは、そのイメージをモデル推論用のデータとして準備します。そのモデルがハチの 2 値分類で学習されている場合、AI モデルはイメージデータがハチである確率を出力します。