2.2. シングルモデルサービングプラットフォームへのモデルのデプロイ

手順

1. 左側のメニューで、Data science projects をクリックします。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。
4. シングルモデルサービングを使用してモデルをデプロイするには、Select single-model をクリックします。

5. Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

6. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
7. Serving runtime フィールドで、有効なランタイムを選択します。プロジェクトスコープのランタイムが存在する場合、Serving runtime リストには、グローバルランタイムとプロジェクトスコープのランタイムを区別するためのサブ見出しが含まれます。
8. Model framework (name - version) リストから、該当する場合は値を選択します。
9. Deployment mode リストから、KServe RawDeployment または Knative Serverless を選択します。デプロイメントモードの詳細は、KServe デプロイメントモードについて を参照してください。
10. Number of model server replicas to deploy フィールドに値を指定します。

11. 次のオプションは、ハードウェアプロファイルを作成した場合にのみ使用できます。

    1. Hardware profile リストから、ハードウェアプロファイルを選択します。プロジェクトスコープのハードウェアプロファイルが存在する場合、Hardware profile リストには、グローバルハードウェアプロファイルとプロジェクトスコープのハードウェアプロファイルを区別するためのサブ見出しが含まれます。

       重要

       デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

    2. オプション: これらのデフォルト値を変更するには、Customize resource requests and limit をクリックし、新しい最小値 (要求) と最大値 (制限) を入力します。ハードウェアプロファイルは、コンテナーに割り当てられる CPU の数とメモリーの量を指定し、両方に対して保証される最小値 (要求) と最大値 (制限) を設定します。
12. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

13. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

    1. Require token authentication を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
    3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

14. モデルの場所を指定するには、追加した Connection type を選択します。OCI-compliant registry、S3 compatible object storage、URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

    1. S3 互換オブジェクトストレージの場合: Path フィールドに、指定したデータソース内のモデルが含まれるフォルダーパスを入力します。

       重要

       OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

    2. Open Container Image 接続の場合: OCI storage location フィールドに、モデルが配置されているモデル URI を入力します。

       注記

       既存の S3、URI、または OCI データ接続を使用して登録済みのモデルバージョンをデプロイする場合は、接続に関する詳細の一部が自動入力されることがあります。これは、データ接続の種類と、データサイエンスプロジェクトで使用できる一致する接続の数によって異なります。たとえば、一致する接続が 1 つだけ存在する場合、パス、URI、エンドポイント、モデル URI、バケット、リージョンなどのフィールドが自動的に入力されることがあります。一致する接続には Recommended というラベルが付けられます。

    3. 接続詳細フィールドに入力します。

    4. オプション: モデルファイルを永続ボリューム要求 (PVC) にアップロードし、その PVC がワークベンチにアタッチされている場合は、Existing cluster storage オプションを使用して PVC を選択し、モデルファイルへのパスを指定します。

       重要

       接続タイプが S3 互換オブジェクトストレージの場合は、データファイルが含まれるフォルダーパスを指定する必要があります。OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

15. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

    2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

       Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

       注記

       ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

16. Deploy をクリックします。