2.12. シングルモデルサービングプラットフォームを使用したモデルのデプロイ

手順

1. 次のようにシングルモデルサービングプラットフォームを有効にします。

   1. 左側のメニューで、Settings Cluster settings をクリックします。
   2. Model serving platforms セクションを見つけます。
   3. プロジェクトに対してシングルモデルサービングプラットフォームを有効にするには、Single model serving platform チェックボックスをオンにします。
   4. Save changes をクリックします。

2. 次のように、シングルモデルサービングプラットフォーム用のプリインストールされたランタイムを有効にします。

   1. OpenShift AI ダッシュボードの左側のメニューで、Settings Serving runtimes をクリックします。

      Serving runtimes ページには、プリインストールされたランタイムと追加したカスタムランタイムが表示されます。

      プリインストールされたランタイムの詳細は、サポートされているランタイム を参照してください。

   2. 使用するランタイムを Enabled に設定します。

      これで、シングルモデルサービングプラットフォームをモデルのデプロイに使用できるようになりました。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (TGIS Standalone ServingRuntime for KServe など) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。
   注記

   多くの場合、カスタムランタイムを作成するには、ServingRuntime 仕様の env セクションに新しいパラメーターまたはカスタムパラメーターを追加する必要があります。

6. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したカスタムランタイムが自動的に有効になることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

7. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. Start from scratch をクリックします。

   1. REST API プロトコルを選択した場合は、埋め込みエディターに次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. gRPC API プロトコルを選択した場合は、埋め込みエディターで次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと一致していないことを確認してください。

7. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Create をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になっていることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

9. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。
7. Model framework (name - version) リストから値を選択します。
8. Number of model server replicas to deploy フィールドに値を指定します。
9. Model server size リストから値を選択します。

10. 次のオプションは、クラスターでアクセラレーターサポートを有効にし、アクセラレータープロファイルを作成した場合にのみ使用できます。

    1. Accelerator リストからアクセラレーターを選択します。
    2. 前の手順でアクセラレーターを選択した場合は、Number of accelerators フィールドで使用するアクセラレーターの数を指定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. デプロイされたモデルに対する推論リクエストにトークン認可を要求するには、次のアクションを実行します。

    1. Require token authorization を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。

13. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存の接続を使用するには

      1. Existing connection を選択します。
      2. Name リストから、以前に定義した接続を選択します。

      3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

    • 新しい接続を使用するには

      1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

         1. Add connection モーダルで、Connection type を選択します。S3 compatible object storage オプションと URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

            選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

      2. 接続の詳細フィールドに入力します。

         重要

         接続タイプが S3 互換オブジェクトストレージの場合は、データファイルが含まれるフォルダーパスを指定する必要があります。OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

14. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

    2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

       Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

       注記

       ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

15. Deploy をクリックします。

手順

1. OpenShift コンソールにクラスター管理者としてログインします。
2. モデルをデプロイしたプロジェクトを選択します。
3. Administrator パースペクティブで、Home Search をクリックします。
4. Resources ドロップダウンメニューから、InferenceService を検索します。

5. spec.predictor.annotations の下の serving.knative.dev/progress-deadline を新しいタイムアウトに変更します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   注記

   必ず spec.predictor.annotations レベルで progress-deadline を設定して、KServe の InferenceService が progress-deadline を KNative Service オブジェクトにコピーできるようにしてください。

手順

1. OpenShift AI ダッシュボードから、左側のメニューの Model Serving をクリックします。

   Deployed models ページが開きます。

2. カスタマイズするモデル名の横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

   Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

3. Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

   1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

   2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

      注記

      ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

4. ランタイムパラメーターのカスタマイズが完了したら、Redeploy をクリックして、変更を加えたモデルを保存してデプロイします。

手順

1. シングルモデルサービングプラットフォームへのモデルのデプロイ で説明されている手順に従って、モデルをデプロイします。
2. Serving runtime フィールドで、vLLM ServingRuntime for KServe を選択します。

3. meta-llama-3 モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   –-distributed-executor-backend=mp 1
   --max-model-len=6144 2

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 6144 トークンに設定します。

4. granite-7B-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 1

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

5. granite-20B-code-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 1
   –-tensor-parallel-size=4 2
   --max-model-len=6448 3

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   シングルノード内の 4 つの GPU に推論を分散します。

   3

   モデルの最大コンテキスト長を 6448 トークンに設定します。

6. mistral-7B-Instruct-v0.3 model モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 1
   --max-model-len=15344 2

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 15344 トークンに設定します。

7. Deploy をクリックします。