モデルのサービング

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Settings → Cluster settings をクリックします。
2. Model serving platforms セクションを見つけます。
3. Multi-model serving platform チェックボックスをオンにします。
4. Save changes をクリックします。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (OpenVINO Model Server ランタイムなど) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。

3. Select the model serving platforms this runtime supports リストで、Multi-model serving platform を選択します。

   注記

   マルチモデルサービングプラットフォームは、REST プロトコルのみサポートします。つまり、Select the API protocol this runtime supports リスト内のデフォルト値は変更できません。

4. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。このファイルは、kserve/modelmesh-serving リポジトリーからダウンロードしたサンプルランタイムの 1 つである可能性があります。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。貼り付ける YAML は、kserve/modelmesh-serving リポジトリー内のサンプルランタイムの 1 つからコピーされる場合があります。

5. オプション: kserve/modelmesh-serving リポジトリーにサンプルランタイムの 1 つを追加する場合は、次の変更を実行します。

   1. YAML エディターで、ランタイムの kind フィールドを見つけます。このフィールドの値を ServingRuntime に更新します。
   2. kserve/modelmesh-serving リポジトリーの kustomization.yaml ファイルで、追加するランタイムの newName と newTag の値をメモします。これらの値は後の手順で指定します。
   3. カスタムランタイムの YAML エディターで、containers.image フィールドを見つけます。

   4. kustomization.yaml ファイルで前にメモした値に基づいて、containers.image フィールドの値を newName:newTag 形式で更新します。以下に例を示します。

      Nvidia Triton Inference Server

      image: nvcr.io/nvidia/tritonserver:23.04-py3

      Seldon Python MLServer

      image: seldonio/mlserver:1.3.2

      TorchServe

      image: pytorch/torchserve:0.7.1-cpu

6. metadata.name フィールドで、追加するランタイムの値が一意であることを確認します (つまり、その値がすでに追加したランタイムと一致しないこと)。

7. オプション: 追加するランタイムのカスタム表示名を設定するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: mlserver-0.x
     annotations:
       openshift.io/display-name: MLServer

   Copy to Clipboard Toggle word wrap
   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になることを確認します。

9. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. テスト済みおよび検証済みのランタイムを追加するには、Add serving runtime をクリックします。

3. Select the model serving platforms this runtime supports リストで、Multi-model serving platform を選択します。

   注記

   マルチモデルサービングプラットフォームは、REST プロトコルのみサポートします。つまり、Select the API protocol this runtime supports リスト内のデフォルト値は変更できません。

4. Start from scratch をクリックします。

5. 次の YAML コードを埋め込みエディターに直接入力または貼り付けます。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     annotations:
       enable-route: "true"
     name: modelmesh-triton
     labels:
       opendatahub.io/dashboard: "true"
   spec:
     annotations:
       opendatahub.io/modelServingSupport: '["multi"x`x`]'
       prometheus.kserve.io/path: /metrics
       prometheus.kserve.io/port: "8002"
     builtInAdapter:
       env:
         - name: CONTAINER_MEM_REQ_BYTES
           value: "268435456"
         - name: USE_EMBEDDED_PULLER
           value: "true"
       memBufferBytes: 134217728
       modelLoadingTimeoutMillis: 90000
       runtimeManagementPort: 8001
       serverType: triton
     containers:
       - args:
           - -c
           - 'mkdir -p /models/_triton_models;  chmod 777
             /models/_triton_models;  exec
             tritonserver "--model-repository=/models/_triton_models" "--model-control-mode=explicit" "--strict-model-config=false" "--strict-readiness=false" "--allow-http=true" "--allow-grpc=true"  '
         command:
           - /bin/sh
         image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
         name: triton
         resources:
           limits:
             cpu: "1"
             memory: 2Gi
           requests:
             cpu: "1"
             memory: 2Gi
     grpcDataEndpoint: port:8001
     grpcEndpoint: port:8085
     multiModel: true
     protocolVersions:
       - grpc-v2
       - v2
     supportedModelFormats:
       - autoSelect: true
         name: onnx
         version: "1"
       - autoSelect: true
         name: pytorch
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: tensorrt
         version: "7"
       - autoSelect: false
         name: xgboost
         version: "1"
       - autoSelect: true
         name: python
         version: "1"

   Copy to Clipboard Toggle word wrap
6. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと一致していないことを確認してください。

7. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: modelmesh-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   Copy to Clipboard Toggle word wrap
   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Create をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になることを確認します。

9. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルサーバーを設定するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​Multi-model serving platform タイルが表示された場合は、タイル上の Add model server をクリックします。
   • タイルが表示されない場合は、Add model server ボタンをクリックします。

   Add model server ダイアログが開きます。

5. Model server name フィールドに、モデルサーバーの一意の名前を入力します。

6. Serving runtime リストから、OpenShift AI デプロイメントにインストールされ有効になっているモデルサービングランタイムを選択します。

   注記

   モデルサーバーで カスタム モデルサービングランタイムを使用していて、GPU を使用したい場合は、カスタムランタイムが GPU をサポートし、GPU を使用するように適切に設定されていることを確認する必要があります。

7. Number of model replicas to deploy フィールドに値を指定します。
8. Model server size リストから値を選択します。

9. オプション: 前の手順で Custom を選択した場合は、Model server size セクションで次を設定して、モデルサーバーをカスタマイズします。

   1. CPUs requested フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limit フィールドに、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requested フィールドに、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limit フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。

10. オプション: Accelerator リストからアクセラレーターを選択します。

    1. 前述の手順でアクセラレーターを選択した場合は、使用するアクセラレーターの数を指定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. オプション: Token authorization セクションで、Require token authentication チェックボックスをオンにして、モデルサーバーにトークン認証を要求します。トークン認証の設定を完了するには、次のアクションを実行します。

    1. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。生成されたトークンは、モデルサーバーの設定時に作成され、Token secret フィールドに表示されます。
    2. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

13. Add をクリックします。

    • 設定したモデルサーバーは、プロジェクトの Models タブの Models and model servers リストに表示されます。
14. オプション: モデルサーバーを更新するには、モデルサーバーの横にあるアクションメニュー (⋮) をクリックし、Edit model server を選択します。

手順

1. OpenShift AI ダッシュボードで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルサーバーを削除するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. モデルサーバーを削除するプロジェクトの横にあるアクションメニュー (⋮) をクリックし、Delete model server をクリックします。

   Delete model server ダイアログが開きます。

5. テキストフィールドにモデルサーバーの名前を入力して、削除することを確認します。
6. Delete model server をクリックします。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。
4. Deploy model をクリックします。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model name フィールドに、デプロイするモデルの一意の名前を入力します。

   2. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   3. S3 互換オブジェクトストレージからデプロイするモデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

      • 既存の接続を使用するには

        1. Existing connection を選択します。
        2. Name リストから、以前に定義した接続を選択します。
        3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

      • 新しい接続を使用するには

        1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

        2. Add connection モーダルで、Connection type を選択します。S3 compatible object storage オプションと URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

           選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

        3. 接続の詳細フィールドに入力します。

   4. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

      1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。
      2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。
   5. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   Deployed models ページが開きます。

   このページには、モデルごとに、モデル名、モデルがデプロイされているプロジェクト、モデルが使用するモデルサービングランタイム、デプロイメントステータスなどの詳細が表示されます。

2. オプション: 特定のモデルの場合は、Inference endpoint 列のリンクをクリックして、デプロイされたモデルの推論エンドポイントを表示します。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   Deployed models ページが開きます。

2. 更新するデプロイメントプロパティーを持つモデルの横にあるアクションメニュー (⋮) をクリックし、Edit をクリックします。

   Edit model ダイアログが開きます。

3. 次のようにモデルのデプロイメントプロパティーを更新します。

   1. Model name フィールドに、モデルの新しい一意の名前を入力します。
   2. Model servers リストから、モデルのモデルサーバーを選択します。

   3. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   4. 必要に応じて、既存の接続を指定するか、新しい接続を作成して接続を更新します。
   5. Redeploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model serving をクリックします。

   Deployed models ページが開きます。

2. 削除するデプロイモデルの横にあるアクションメニュー (⋮) をクリックし、Delete をクリックします。

   Delete deployed model ダイアログが開きます。

3. テキストフィールドにデプロイしたモデルの名前を入力し、削除することを確認します。
4. Delete deployed model をクリックします。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 関心のあるモデルサーバーの行で、アクションメニュー (⋮) をクリックしてから、View model server metrics を選択します。

5. オプション: モデルサーバーのメトリクスページで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、5 分あたりの HTTP リクエスト、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Model Serving を選択します。
2. Deployed models ページで、モデルを選択します。

3. オプション: Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。

手順

1. 次のようにシングルモデルサービングプラットフォームを有効にします。

   1. 左側のメニューで、Settings → Cluster settings をクリックします。
   2. Model serving platforms セクションを見つけます。
   3. プロジェクトに対してシングルモデルサービングプラットフォームを有効にするには、Single model serving platform チェックボックスをオンにします。
   4. Save changes をクリックします。

2. 次のように、シングルモデルサービングプラットフォーム用のプリインストールされたランタイムを有効にします。

   1. OpenShift AI ダッシュボードの左側のメニューで、Settings → Serving runtimes をクリックします。

      Serving runtimes ページには、プリインストールされたランタイムと追加したカスタムランタイムが表示されます。

      プリインストールされたランタイムの詳細は、サポートされているランタイム を参照してください。

   2. 使用するランタイムを Enabled に設定します。

      これで、シングルモデルサービングプラットフォームをモデルのデプロイに使用できるようになりました。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (TGIS Standalone ServingRuntime for KServe など) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。
   注記

   多くの場合、カスタムランタイムを作成するには、ServingRuntime 仕様の env セクションに新しいパラメーターまたはカスタムパラメーターを追加する必要があります。

6. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したカスタムランタイムが自動的に有効になることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

7. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. Start from scratch をクリックします。

   1. REST API プロトコルを選択した場合は、埋め込みエディターに次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

      Copy to Clipboard Toggle word wrap

   2. gRPC API プロトコルを選択した場合は、埋め込みエディターで次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

      Copy to Clipboard Toggle word wrap
6. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと一致していないことを確認してください。

7. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   Copy to Clipboard Toggle word wrap
   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Create をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になっていることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

9. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。
7. Model framework (name - version) リストから値を選択します。
8. Number of model server replicas to deploy フィールドに値を指定します。
9. Model server size リストから値を選択します。

10. 次のオプションは、クラスターでアクセラレーターサポートを有効にし、アクセラレータープロファイルを作成した場合にのみ使用できます。

    1. Accelerator リストからアクセラレーターを選択します。
    2. 前の手順でアクセラレーターを選択した場合は、Number of accelerators フィールドで使用するアクセラレーターの数を指定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. デプロイされたモデルに対する推論リクエストにトークン認可を要求するには、次のアクションを実行します。

    1. Require token authorization を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。

13. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存の接続を使用するには

      1. Existing connection を選択します。
      2. Name リストから、以前に定義した接続を選択します。

      3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

    • 新しい接続を使用するには

      1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

         1. Add connection モーダルで、Connection type を選択します。S3 compatible object storage オプションと URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

            選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

      2. 接続の詳細フィールドに入力します。

         重要

         接続タイプが S3 互換オブジェクトストレージの場合は、データファイルが含まれるフォルダーパスを指定する必要があります。OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

14. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

    2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

       Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

       注記

       ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

15. Deploy をクリックします。

手順

1. OpenShift コンソールにクラスター管理者としてログインします。
2. モデルをデプロイしたプロジェクトを選択します。
3. Administrator パースペクティブで、Home → Search をクリックします。
4. Resources ドロップダウンメニューから、InferenceService を検索します。

5. spec.predictor.annotations の下の serving.knative.dev/progress-deadline を新しいタイムアウトに変更します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   Copy to Clipboard Toggle word wrap
   注記

   必ず spec.predictor.annotations レベルで progress-deadline を設定して、KServe の InferenceService が progress-deadline を KNative Service オブジェクトにコピーできるようにしてください。

手順

1. OpenShift AI ダッシュボードから、左側のメニューの Model Serving をクリックします。

   Deployed models ページが開きます。

2. カスタマイズするモデル名の横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

   Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

3. Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

   1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

   2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

      注記

      ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

4. ランタイムパラメーターのカスタマイズが完了したら、Redeploy をクリックして、変更を加えたモデルを保存してデプロイします。

手順

1. シングルモデルサービングプラットフォームへのモデルのデプロイ で説明されている手順に従って、モデルをデプロイします。
2. Serving runtime フィールドで、vLLM ServingRuntime for KServe を選択します。

3. meta-llama-3 モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   –-distributed-executor-backend=mp 

   1

   
   --max-model-len=6144 

   2

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 6144 トークンに設定します。

4. granite-7B-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

5. granite-20B-code-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   
   –-tensor-parallel-size=4 

   2

   
   --max-model-len=6448 

   3

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   シングルノード内の 4 つの GPU に推論を分散します。

   3

   モデルの最大コンテキスト長を 6448 トークンに設定します。

6. mistral-7B-Instruct-v0.3 model モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   
   --max-model-len=15344 

   2

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 15344 トークンに設定します。

7. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. デプロイされたモデルが含まれるプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models and model servers リストで、モデルのセクションを展開します。

   認可トークンは、Token authorization セクションの Token secret フィールドに表示されます。

5. オプション: 推論リクエストで使用する認可トークンをコピーするには、トークン値の横に表示される Copy ボタン ( ) をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。

2. モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
3. エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 使用するモデルを選択します。

5. Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、リクエスト数、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. シングルモデルサービングプラットフォームへのモデルのデプロイ で説明されている手順に従って、モデルをデプロイします。
2. Serving runtime フィールドで、vLLM ServingRuntime for KServe ランタイムを選択します。

3. プロンプト内での n-gram のマッチングを使用した投機的デコーディング用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --speculative-model=[ngram]
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
   --use-v2-block-manager

   Copy to Clipboard Toggle word wrap

   1. <NUM_SPECULATIVE_TOKENS> と <NGRAM_PROMPT_LOOKUP_MAX> を独自の値に置き換えます。

      注記

      推論スループットは、n-gram による推測に使用されるモデルによって異なります。

4. ドラフトモデルを使用した投機的デコーディング用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --port=8080
   --served-model-name={{.Name}}
   --distributed-executor-backend=mp
   --model=/mnt/models/<path_to_original_model>
   --speculative-model=/mnt/models/<path_to_speculative_model>
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --use-v2-block-manager

   Copy to Clipboard Toggle word wrap
   1. <path_to_speculative_model> と <path_to_original_model> を、S3 互換オブジェクトストレージ上の投機的モデルと元のモデルへのパスに置き換えます。
   2. <NUM_SPECULATIVE_TOKENS> を独自の値に置き換えます。

5. マルチモーダル推論用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --trust-remote-code

   Copy to Clipboard Toggle word wrap
   注記

   --trust-remote-code 引数は、信頼できるソースからのモデルでのみ使用してください。

6. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. モデルのデプロイに使用したランタイムに基づき、次のいずれかのアクションを実行します。

   • プリインストールされた TGIS Standalone ServingRuntime for KServe ランタイムを使用した場合は、ランタイムを複製してカスタムバージョンを作成してから残りの手順を実行します。プリインストールされている TGIS ランタイムの複製に関する詳細は、シングルモデルサービングプラットフォーム用のカスタムモデルサービングランタイムの追加 を参照してください。

   • すでにカスタム TGIS ランタイムを使用している場合は、ランタイムの横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

     埋め込み YAML エディターが開き、カスタムモデルサービングランタイムの内容が表示されます。

3. BATCH_SAFETY_MARGIN 環境変数を追加または更新し、値を 30 に設定します。同様に、ESTIMATE_MEMORY_BATCH_SIZE 環境変数を追加または更新し、値を 8 に設定します。

   spec:
     containers:
       env:
       - name: BATCH_SAFETY_MARGIN
         value: 30
       - name: ESTIMATE_MEMORY_BATCH
         value: 8

   Copy to Clipboard Toggle word wrap
   注記

   BATCH_SAFETY_MARGIN パラメーターは、OOM 状態を回避するための安全マージンとして保持する空き GPU メモリーの割合を設定します。BATCH_SAFETY_MARGIN のデフォルト値は 20 です。ESTIMATE_MEMORY_BATCH_SIZE パラメーターは、メモリー自動チューニングアルゴリズムで使用されるバッチサイズを設定します。ESTIMATE_MEMORY_BATCH_SIZE のデフォルト値は 16 です。

4. Update をクリックします。

   Serving runtimes ページが開き、インストール済みランタイムのリストが表示されます。更新したカスタムモデルサービングランタイムが表示されていることを確認します。

5. モデルを再デプロイしてパラメーターの更新を反映するには、次のアクションを実行します。

   1. OpenShift AI ダッシュボードから、Model Serving > Deployed Models をクリックします。
   2. 再デプロイするモデルを見つけて、モデルの横にあるアクションメニュー (⋮) をクリックし、Delete を選択します。
   3. シングルモデルサービングプラットフォームへのモデルのデプロイ の説明に従って、モデルを再デプロイします。

手順

1. OpenShift AI にログインします。
2. OpenShift AI ダッシュボードの左側のメニューで、Applications → Explore をクリックします。
3. Explore ページで、NVIDIA NIM タイルを見つけます。
4. アプリケーションタイルで Enable をクリックします。
5. NGC API キーを入力し、Submit をクリックします。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models セクションで、次のいずれかの操作クションを実行します。

   • NVIDIA NIM model serving platform タイルで、タイル上の Select NVIDIA NIM をクリックし、Deploy model をクリックします。
   • 以前に NVIDIA NIM モデルサービングタイプを選択した場合は、Models ページの右上隅に NVIDIA model serving enabled が表示され、Deploy model ボタンも表示されます。続行するには、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。詳細は、Supported Models を参照してください。
   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

   6. Accelerator リストからアクセラレーターを選択します。

      Number of accelerators フィールドが表示されます。

   7. Number of accelerators フィールドで、使用するアクセラレーターの数を指定します。デフォルト値は 1 です。
6. Deploy をクリックします。