2.2. シングルモデルサービングプラットフォームへのモデルのデプロイ

手順

1. 左側のメニューで、Projects をクリックします。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Deployments タブをクリックします。

4. Deploy model ボタンをクリックします。

   Deploy a model ウィザードが開きます。

5. Model details セクションで、モデルに関する情報を入力します。

   1. Model location リストから、モデルが保存されている場所を指定し、connection detail フィールドに入力します。

      注記
      • OCI-compliant registry、S3 compatible object storage、URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。
      • モデルファイルを永続ボリューム要求 (PVC) にアップロードし、その PVC がワークベンチにアタッチされている場合は、Model location リストで Cluster storage オプションが使用可能になります。このオプションを使用して PVC を選択し、モデルファイルへのパスを指定します。
   2. Model type リストから、デプロイするモデルのタイプ (Predictive または Generative AI model) を選択します。
   3. Next をクリックします。

6. Model deployment セクションで、デプロイメントを設定します。

   1. Model deployment name フィールドに、モデルデプロイメントの一意の名前を入力します。
   2. Description フィールドに、デプロイメントの説明を入力します。
   3. Hardware profile リストから、ハードウェアプロファイルを選択します。
   4. オプション: デフォルトのリソース割り当てを変更するには、Customize resource requests and limits をクリックし、CPU とメモリーの要求と制限に新しい値を入力します。

   5. Serving runtime フィールドで、有効なランタイムを選択します。

      注記

      プロジェクトスコープのランタイムが存在する場合、Serving runtime リストには、グローバルランタイムとプロジェクトスコープのランタイムを区別するためのサブ見出しが含まれます。

   6. オプション: Predictive model タイプを選択した場合は、Model framework (name - version) リストからフレームワークを選択します。このフィールドは、Generative AI モデルでは非表示になります。
   7. Number of model server replicas to deploy フィールドに値を指定します。
   8. Next をクリックします。

7. Advanced settings セクションで、詳細オプションを設定します。

   1. オプション: (Generative AI モデルのみ) モデルのエンドポイントを AI asset endpoints ページに追加する場合は、Add as AI asset endpoint チェックボックスをオンにします。

      1. Use case フィールドに、チャット、マルチモーダル、自然言語処理など、モデルが実行するタスクの種類を入力します。

         注記

         GenAI プレイグラウンドでモデルをテストするには、モデルを AI アセットエンドポイントとして追加する必要があります。

   2. オプション: モデルのデプロイメントを外部ルート経由で利用できるようにするには、Model access チェックボックスをオンにします。
   3. オプション: デプロイされたモデルへの推論リクエストに対してトークン認証を必須とするには、Require token authentication を選択します。
   4. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
   5. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

   6. オプション: Configuration parameters セクションで、以下を実行します。

      1. Add custom runtime arguments を選択し、テキストフィールドに引数を入力します。
      2. Add custom runtime environment variables チェックボックスをオンにし、Add variable をクリックして、テキストフィールドにカスタム変数を入力します。
8. Deploy をクリックします。