4.3. マルチモデルサービングプラットフォームを使用したモデルのデプロイ
OpenShift AI にトレーニングされたモデルをデプロイし、それらをテストしてインテリジェントなアプリケーションに実装できます。モデルをデプロイすると、API を使用してアクセスできるサービスとして利用可能になります。これにより、データ入力に基づく予測を返すことができます。
マルチモデルサービングプラットフォームを有効にすると、プラットフォーム上にモデルをデプロイできます。
前提条件
- Red Hat OpenShift AI にログインしている。
- マルチモデルサービングプラットフォームを有効化している。
- データサイエンスプロジェクトを作成し、モデルサーバーを追加している。
- S3 互換オブジェクトストレージにアクセスできる。
- デプロイするモデルについて、S3 互換オブジェクトストレージバケット内の関連フォルダーパスを把握している。
手順
OpenShift AI ダッシュボードの左側のメニューで、Data science projects をクリックします。
Data science projects のページが開きます。
モデルをデプロイするプロジェクトの名前をクリックします。
プロジェクトの詳細ページが開きます。
- Models タブをクリックします。
- Deploy model をクリックします。
モデルをデプロイするためのプロパティーを次のように設定します。
- Model name フィールドに、デプロイするモデルの一意の名前を入力します。
Model framework リストから、モデルのフレームワークを選択します。
注記Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。
S3 互換オブジェクトストレージからデプロイするモデルの場所を指定するには、次の一連のアクションのいずれかを実行します。
既存の接続を使用します。
- Existing connection を選択します。
- Name リストから、以前に定義した接続を選択します。
Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。
注記既存の S3 または URI データ接続を使用して登録済みのモデルバージョンをデプロイする場合は、接続に関する詳細の一部が自動入力されることがあります。これは、データ接続の種類と、データサイエンスプロジェクトで使用できる一致する接続の数によって異なります。たとえば、一致する接続が 1 つだけ存在する場合、パス、URI、エンドポイント、バケット、リージョンなどのフィールドが自動的に入力されることがあります。一致する接続には Recommended というラベルが付けられます。
新しい接続を使用します。
- モデルがアクセスできる新しい接続を定義するには、New connection を選択します。
Add connection モーダルで、Connection type を選択します。S3 compatible object storage オプションと URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。
選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。
- 接続の詳細フィールドに入力します。
(オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。
- Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。
- モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。
- Deploy をクリックします。
検証
- デプロイされたモデルがプロジェクトの Models タブに表示され、ダッシュボードの Model deployments ページで Status 列にチェックマークが付いて表示されていることを確認します。