3.5. シングルモデルサービングプラットフォームを使用したモデルのデプロイ

手順

1. 次のようにシングルモデルサービングプラットフォームを有効にします。

   1. 左側のメニューで、Settings Cluster settings をクリックします。
   2. Model serving platforms セクションを見つけます。
   3. プロジェクトに対してシングルモデルサービングプラットフォームを有効にするには、Single model serving platform チェックボックスをオンにします。
   4. Save changes をクリックします。

2. 次のように、シングルモデルサービングプラットフォーム用のプリインストールされたランタイムを有効にします。

   1. OpenShift AI ダッシュボードの左側のメニューで、Settings Serving runtimes をクリックします。

      Serving runtimes ページには、追加したカスタムランタイムに加えて、次のプリインストールされたランタイムが表示されます。

      • Caikit TGIS ServingRuntime for KServe
      • Caikit Standalone ServingRuntime for KServe
      • OpenVINO Model Server
      • TGIS Standalone ServingRuntime for KServe
      • vLLM ServingRuntime for KServe

   2. 使用するランタイムを Enabled に設定します。

      これで、シングルモデルサービングプラットフォームをモデルのデプロイに使用できるようになりました。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (KServe の TGIS Standalone ServingRuntime など) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。
   注記

   多くの場合、カスタムランタイムを作成するには、ServingRuntime 仕様の env セクションに新しいパラメーターまたはカスタムパラメーターを追加する必要があります。

6. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したカスタムランタイムが自動的に有効になることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

7. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。
7. Model framework リストから値を選択します。
8. Number of model replicas to deploy フィールドに値を指定します。
9. Model server size リストから値を選択します。

10. デプロイされたモデルに対する推論リクエストにトークン認可を要求するには、次のアクションを実行します。

    1. Require token authorization を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。

11. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存のデータ接続を使用するには

      1. Existing data connection を選択します。
      2. Name リストから、以前に定義したデータ接続を選択します。

      3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

    • 新しいデータ接続を使用するには

      1. モデルがアクセスできる新しいデータ接続を定義するには、New data connection を選択します。
      2. Name フィールドに、データ接続の一意の名前を入力します。
      3. Access key フィールドに、S3 互換オブジェクトストレージプロバイダーのアクセスキー ID を入力します。
      4. Secret key フィールドに、指定した S3 互換オブジェクトストレージアカウントのシークレットアクセスキーを入力します。
      5. Endpoint フィールドに、S3 互換オブジェクトストレージバケットのエンドポイントを入力します。
      6. Region フィールドに、S3 互換オブジェクトストレージアカウントのデフォルトのリージョンを入力します。
      7. Bucket フィールドに、S3 互換のオブジェクトストレージバケットの名前を入力します。

      8. Path フィールドに、データファイルが含まれる S3 互換オブジェクトストレージ内のフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

12. Deploy をクリックします。