モデルのサービング

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Settings → Cluster settings をクリックします。
2. Model serving platforms セクションを見つけます。
3. Multi-model serving platform チェックボックスをオンにします。
4. Save changes をクリックします。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (OpenVINO Model Server ランタイムなど) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。

3. Select the model serving platforms this runtime supports リストで、Multi-model serving platform を選択します。

   注記

   マルチモデルサービングプラットフォームは、REST プロトコルのみサポートします。つまり、Select the API protocol this runtime supports リスト内のデフォルト値は変更できません。

4. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。このファイルは、kserve/modelmesh-serving リポジトリーからダウンロードしたサンプルランタイムの 1 つである可能性があります。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。貼り付ける YAML は、kserve/modelmesh-serving リポジトリー内のサンプルランタイムの 1 つからコピーされる場合があります。

5. オプション: kserve/modelmesh-serving リポジトリーにサンプルランタイムの 1 つを追加する場合は、次の変更を実行します。

   1. YAML エディターで、ランタイムの kind フィールドを見つけます。このフィールドの値を ServingRuntime に更新します。
   2. kserve/modelmesh-serving リポジトリーの kustomization.yaml ファイルで、追加するランタイムの newName と newTag の値をメモします。これらの値は後の手順で指定します。
   3. カスタムランタイムの YAML エディターで、containers.image フィールドを見つけます。

   4. kustomization.yaml ファイルで前にメモした値に基づいて、containers.image フィールドの値を newName:newTag 形式で更新します。以下に例を示します。

      Nvidia Triton Inference Server

      image: nvcr.io/nvidia/tritonserver:23.04-py3

      Seldon Python MLServer

      image: seldonio/mlserver:1.3.2

      TorchServe

      image: pytorch/torchserve:0.7.1-cpu

6. metadata.name フィールドで、追加するランタイムの値が一意であることを確認します (つまり、その値がすでに追加したランタイムと一致しないこと)。

7. オプション: 追加するランタイムのカスタム表示名を設定するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: mlserver-0.x
     annotations:
       openshift.io/display-name: MLServer

   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になることを確認します。

9. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. テスト済みおよび検証済みのランタイムを追加するには、Add serving runtime をクリックします。

3. Select the model serving platforms this runtime supports リストで、Multi-model serving platform を選択します。

   注記

   マルチモデルサービングプラットフォームは、REST プロトコルのみサポートします。つまり、Select the API protocol this runtime supports リスト内のデフォルト値は変更できません。

4. Start from scratch をクリックします。

5. 次の YAML コードを埋め込みエディターに直接入力または貼り付けます。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     annotations:
       enable-route: "true"
     name: modelmesh-triton
     labels:
       opendatahub.io/dashboard: "true"
   spec:
     annotations:
       opendatahub.io/modelServingSupport: '["multi"x`x`]'
       prometheus.kserve.io/path: /metrics
       prometheus.kserve.io/port: "8002"
     builtInAdapter:
       env:
         - name: CONTAINER_MEM_REQ_BYTES
           value: "268435456"
         - name: USE_EMBEDDED_PULLER
           value: "true"
       memBufferBytes: 134217728
       modelLoadingTimeoutMillis: 90000
       runtimeManagementPort: 8001
       serverType: triton
     containers:
       - args:
           - -c
           - 'mkdir -p /models/_triton_models;  chmod 777
             /models/_triton_models;  exec
             tritonserver "--model-repository=/models/_triton_models" "--model-control-mode=explicit" "--strict-model-config=false" "--strict-readiness=false" "--allow-http=true" "--allow-grpc=true"  '
         command:
           - /bin/sh
         image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
         name: triton
         resources:
           limits:
             cpu: "1"
             memory: 2Gi
           requests:
             cpu: "1"
             memory: 2Gi
     grpcDataEndpoint: port:8001
     grpcEndpoint: port:8085
     multiModel: true
     protocolVersions:
       - grpc-v2
       - v2
     supportedModelFormats:
       - autoSelect: true
         name: onnx
         version: "1"
       - autoSelect: true
         name: pytorch
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: tensorrt
         version: "7"
       - autoSelect: false
         name: xgboost
         version: "1"
       - autoSelect: true
         name: python
         version: "1"

6. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと一致していないことを確認してください。

7. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: modelmesh-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Create をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になることを確認します。

9. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルサーバーを設定するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​Multi-model serving platform タイルが表示された場合は、タイル上の Add model server をクリックします。
   • タイルが表示されない場合は、Add model server ボタンをクリックします。

   Add model server ダイアログが開きます。

5. Model server name フィールドに、モデルサーバーの一意の名前を入力します。

6. Serving runtime リストから、OpenShift AI デプロイメントにインストールされ有効になっているモデルサービングランタイムを選択します。

   注記

   モデルサーバーで カスタム モデルサービングランタイムを使用していて、GPU を使用したい場合は、カスタムランタイムが GPU をサポートし、GPU を使用するように適切に設定されていることを確認する必要があります。

7. Number of model replicas to deploy フィールドに値を指定します。
8. Model server size リストから値を選択します。

9. オプション: 前の手順で Custom を選択した場合は、Model server size セクションで次を設定して、モデルサーバーをカスタマイズします。

   1. CPUs requested フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limit フィールドに、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requested フィールドに、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limit フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。

10. オプション: Accelerator リストからアクセラレーターを選択します。

    1. 前述の手順でアクセラレーターを選択した場合は、使用するアクセラレーターの数を指定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. オプション: Token authorization セクションで、Require token authentication チェックボックスをオンにして、モデルサーバーにトークン認証を要求します。トークン認証の設定を完了するには、次のアクションを実行します。

    1. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。生成されたトークンは、モデルサーバーの設定時に作成され、Token secret フィールドに表示されます。
    2. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

13. Add をクリックします。

    • 設定したモデルサーバーは、プロジェクトの Models タブの Models and model servers リストに表示されます。
14. オプション: モデルサーバーを更新するには、モデルサーバーの横にあるアクションメニュー (⋮) をクリックし、Edit model server を選択します。

手順

1. OpenShift AI ダッシュボードで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルサーバーを削除するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. モデルサーバーを削除するプロジェクトの横にあるアクションメニュー (⋮) をクリックし、Delete model server をクリックします。

   Delete model server ダイアログが開きます。

5. テキストフィールドにモデルサーバーの名前を入力して、削除することを確認します。
6. Delete model server をクリックします。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。
4. Deploy model をクリックします。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model name フィールドに、デプロイするモデルの一意の名前を入力します。

   2. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   3. S3 互換オブジェクトストレージからデプロイするモデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

      • 既存の接続を使用するには

        1. Existing connection を選択します。
        2. Name リストから、以前に定義したデータ接続を選択します。
        3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

      • 新しい接続を使用するには

        1. モデルがアクセスできる新しいコネクションを定義するには、New connection を選択します。
        2. Name フィールドに、接続の一意の名前を入力します。
        3. Access key フィールドに、S3 互換オブジェクトストレージプロバイダーのアクセスキー ID を入力します。
        4. Secret key フィールドに、指定した S3 互換オブジェクトストレージアカウントのシークレットアクセスキーを入力します。
        5. Endpoint フィールドに、S3 互換オブジェクトストレージバケットのエンドポイントを入力します。
        6. Region フィールドに、S3 互換オブジェクトストレージアカウントのデフォルトのリージョンを入力します。
        7. Bucket フィールドに、S3 互換のオブジェクトストレージバケットの名前を入力します。
        8. Path フィールドに、データファイルが含まれる S3 互換オブジェクトストレージ内のフォルダーパスを入力します。
   4. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   Deployed models ページが開きます。

   このページには、モデルごとに、モデル名、モデルがデプロイされているプロジェクト、モデルが使用するモデルサービングランタイム、デプロイメントステータスなどの詳細が表示されます。

2. オプション: 特定のモデルの場合は、Inference endpoint 列のリンクをクリックして、デプロイされたモデルの推論エンドポイントを表示します。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   Deployed models ページが開きます。

2. 更新するデプロイメントプロパティーを持つモデルの横にあるアクションメニュー (⋮) をクリックし、Edit をクリックします。

   Edit model ダイアログが開きます。

3. 次のようにモデルのデプロイメントプロパティーを更新します。

   1. Model name フィールドに、モデルの新しい一意の名前を入力します。
   2. Model servers リストから、モデルのモデルサーバーを選択します。

   3. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   4. モデルの場所の指定方法を更新するには、次の一連のアクションのいずれかを実行します。

      • 既存の接続を指定した場合

        1. Path フィールドで、指定したデータソース内のモデルを含むフォルダーパスを更新します。

      • 以前に新しい接続を指定した場合

        1. Name フィールドで、データ接続の一意の名前を更新します。
        2. Access key フィールドで、S3 互換オブジェクトストレージプロバイダーのアクセスキー ID を更新します。
        3. Secret key フィールドで、指定した S3 互換オブジェクトストレージアカウントのシークレットアクセスキーを更新します。
        4. Endpoint フィールドで、S3 互換オブジェクトストレージバケットのエンドポイントを更新します。
        5. Region フィールドで、S3 互換オブジェクトストレージアカウントのデフォルトのリージョンを更新します。
        6. Bucket フィールドで、S3 互換オブジェクトストレージバケットの名前を更新します。
        7. Path フィールドで、データファイルを含む S3 互換オブジェクトストレージ内のフォルダーパスを更新します。
   5. Redeploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model serving をクリックします。

   Deployed models ページが開きます。

2. 削除するデプロイモデルの横にあるアクションメニュー (⋮) をクリックし、Delete をクリックします。

   Delete deployed model ダイアログが開きます。

3. テキストフィールドにデプロイしたモデルの名前を入力し、削除することを確認します。
4. Delete deployed model をクリックします。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 関心のあるモデルサーバーの行で、アクションメニュー (⋮) をクリックしてから、View model server metrics を選択します。

5. オプション: モデルサーバーのメトリクスページで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、5 分あたりの HTTP リクエスト、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Model Serving を選択します。
2. Deployed models ページで、モデルを選択します。

3. オプション: Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。

手順

1. ターミナルウィンドウで、クラスター管理者として OpenShift クラスターにまだログインしていない場合は、次の例に示すように OpenShift CLI にログインします。

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

2. モデルをデプロイする namespace を選択または作成します。この例では、kserve-demo が使用され、以下のコマンドを使用して作成できます。

   oc new-project kserve-demo

3. モデルをデプロイする namespace から、モデルストレージの PVC を作成し、ストレージクラスの名前を指定します。ストレージクラスはファイルストレージである必要があります。

   注記

   PVC がすでに設定されている場合は、この手順を省略できます。

   kubectl apply -f -
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: granite-8b-code-base-pvc
   spec:
     accessModes:
       - ReadWriteMany
     volumeMode: Filesystem
     resources:
       requests:
         storage: 50Gi
     storageClassName: __<fileStorageClassName>__

4. モデルを PVC にダウンロードします。以下に例を示します。

   apiVersion: v1
   kind: Pod
   metadata:
     name: download-granite-8b-code
     labels:
       name: download-granite-8b-code
   spec:
     volumes:
       - name: model-volume
         persistentVolumeClaim:
           claimName: granite-8b-code-claim
     restartPolicy: Never
     initContainers:
       - name: fix-volume-permissions
         image: quay.io/quay/busybox@sha256:xxxxx
         command: ["sh"]
         args: ["-c", "mkdir -p /mnt/models/granite-8b-code-base && chmod -R 777 /mnt/models"]
         volumeMounts:
           - mountPath: "/mnt/models/"
             name: model-volume
     containers:
       - resources:
           requests:
             memory: 40Gi
         name: download-model
         imagePullPolicy: IfNotPresent
         image: quay.io/modh/kserve-storage-initializer@sha256:xxxxx
         args:
           - 's3://$<bucket_name>/granite-8b-code-base/'
           - /mnt/models/granite-8b-code-base
         env:
           - name: AWS_ACCESS_KEY_ID
             value: <id>
           - name: AWS_SECRET_ACCESS_KEY
             value: <secret>
           - name: BUCKET_NAME
             value: <bucket_name>
           - name: S3_USE_HTTPS
             value: "1"
           - name: AWS_ENDPOINT_URL
             value: <AWS endpoint>
           - name: awsAnonymousCredential
             value: 'false'
           - name: AWS_DEFAULT_REGION
             value: <region>
         volumeMounts:
           - mountPath: "/mnt/models/"
             name: model-volume

5. vllm-multinode-runtime ServingRuntime をカスタムランタイムとして作成します。

   oc process vllm-multinode-runtime-template -n redhat-ods-applications|oc apply  -f -

6. 次の InferenceService 設定を使用してモデルをデプロイします。

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     annotations:
       serving.kserve.io/deploymentMode: RawDeployment
       serving.kserve.io/autoscalerClass: external
     name: granite-8b-code-base-pvc
   spec:
     predictor:
       model:
         modelFormat:
           name: vLLM
         runtime: vllm-multinode-runtime
         storageUri: pvc://granite-8b-code-base-pvc/hf/8b_instruction_tuned
       workerSpec: {}

   次の設定を InferenceService に追加できます。

   • workerSpec.tensorParallelSize: ノードごとに使用される GPU の数を決定します。ヘッドおよびワーカーノードのデプロイメントリソースの両方の GPU タイプカウントは自動的に更新されます。workerSpec.tensorParallelSize の値が 1 以上であることを確認します。
   • workerSpec.pipelineParallelSize: デプロイメントに関与するノードの数を決定します。この変数は、ヘッドノードとワーカーノードの両方を含むノードの総数を表します。workerSpec.pipelineParallelSize の値が 2 以上であることを確認します。

手順

1. 次のようにシングルモデルサービングプラットフォームを有効にします。

   1. 左側のメニューで、Settings → Cluster settings をクリックします。
   2. Model serving platforms セクションを見つけます。
   3. プロジェクトに対してシングルモデルサービングプラットフォームを有効にするには、Single model serving platform チェックボックスをオンにします。
   4. Save changes をクリックします。

2. 次のように、シングルモデルサービングプラットフォーム用のプリインストールされたランタイムを有効にします。

   1. OpenShift AI ダッシュボードの左側のメニューで、Settings → Serving runtimes をクリックします。

      Serving runtimes ページには、プリインストールされたランタイムと追加したカスタムランタイムが表示されます。

      プリインストールされたランタイムの詳細は、サポートされているランタイム を参照してください。

   2. 使用するランタイムを Enabled に設定します。

      これで、シングルモデルサービングプラットフォームをモデルのデプロイに使用できるようになりました。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (TGIS Standalone ServingRuntime for KServe など) で開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックしてから、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。
   注記

   多くの場合、カスタムランタイムを作成するには、ServingRuntime 仕様の env セクションに新しいパラメーターまたはカスタムパラメーターを追加する必要があります。

6. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したカスタムランタイムが自動的に有効になることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

7. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. Start from scratch をクリックします。

   1. REST API プロトコルを選択した場合は、埋め込みエディターに次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

   2. gRPC API プロトコルを選択した場合は、埋め込みエディターで次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

6. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと一致していないことを確認してください。

7. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

8. Create をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になっていることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

9. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。
7. Model framework (name - version) リストから値を選択します。
8. Number of model server replicas to deploy フィールドに値を指定します。
9. Model server size リストから値を選択します。

10. 次のオプションは、クラスターで GPU サポートを有効にし、アクセラレータープロファイルを作成した場合にのみ使用できます。

    1. Accelerator リストからアクセラレーターを選択します。
    2. 前の手順でアクセラレーターを選択した場合は、Number of accelerators フィールドで使用するアクセラレーターの数を指定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. デプロイされたモデルに対する推論リクエストにトークン認可を要求するには、次のアクションを実行します。

    1. Require token authorization を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。

13. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存の接続を使用するには

      1. Existing connection を選択します。
      2. Name リストから、以前に定義したデータ接続を選択します。

      3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

    • 新しい接続を使用するには

      1. モデルがアクセスできる新しいコネクションを定義するには、New connection を選択します。
      2. Name フィールドに、接続の一意の名前を入力します。
      3. Access key フィールドに、S3 互換オブジェクトストレージプロバイダーのアクセスキー ID を入力します。
      4. Secret key フィールドに、指定した S3 互換オブジェクトストレージアカウントのシークレットアクセスキーを入力します。
      5. Endpoint フィールドに、S3 互換オブジェクトストレージバケットのエンドポイントを入力します。
      6. Region フィールドに、S3 互換オブジェクトストレージアカウントのデフォルトのリージョンを入力します。
      7. Bucket フィールドに、S3 互換のオブジェクトストレージバケットの名前を入力します。

      8. Path フィールドに、データファイルが含まれる S3 互換オブジェクトストレージ内のフォルダーパスを入力します。

         重要

         OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

14. （オプション） Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされたモデルの動作を定義します。

    2. Additional environment variables の値を変更して、モデルの環境で変数を定義します。

       Configuration parameters セクションには、事前に定義された提供ランタイムパラメーター（利用可能な場合）が表示されます。

       注記

       ポートまたはモデル提供ランタイム引数は特定の値を設定する必要があるため、変更しないでください。これらのパラメーターを上書きすると、デプロイメントが失敗する場合があります。

15. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Model Serving をクリックします。

   Deployed models ページが開きます。

2. カスタマイズするモデル名の横にあるアクションメニュー(⋮)をクリックし、Edit を選択します。

   Configuration parameters セクションには、事前に定義された提供ランタイムパラメーター（利用可能な場合）が表示されます。

3. Configuration parameters セクションのランタイムパラメーターをカスタマイズします。

   1. Additional serving runtime arguments の値を変更して、デプロイされたモデルの動作を定義します。

   2. Additional environment variables の値を変更して、モデルの環境で変数を定義します。

      注記

      ポートまたはモデル提供ランタイム引数は特定の値を設定する必要があるため、変更しないでください。これらのパラメーターを上書きすると、デプロイメントが失敗する場合があります。

4. ランタイムパラメーターのカスタマイズが完了したら、Redeploy をクリックして、変更内容でモデルを保存し、デプロイします。

手順

1. OpenShift AI ダッシュボードで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. デプロイされたモデルが含まれるプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models and model servers リストで、モデルのセクションを展開します。

   認可トークンは、Token authorization セクションの Token secret フィールドに表示されます。

5. オプション: 推論リクエストで使用する認可トークンをコピーするには、トークン値の横に表示される Copy ボタン ( ) をクリックします。

手順

1. OpenShift AI ダッシュボードで、Model Serving をクリックします。

   モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。

2. モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
3. エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 使用するモデルを選択します。

5. Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、リクエスト数、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. 作成したカスタム vLLM モデルサービングランタイムを見つけて、ランタイムの横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

   埋め込み YAML エディターが開き、カスタムモデルサービングランタイムの内容が表示されます。

3. プロンプトで n-gram を一致させて投機的デコーディングを行うために vLLM モデルサービングランタイムを設定するには、以下を実行します。

   1. 次の引数を追加します。

      containers:
        - args:
            - --speculative-model=[ngram]
            - --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
            - --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
            - --use-v2-block-manager

   2. <NUM_SPECULATIVE_TOKENS> と <NGRAM_PROMPT_LOOKUP_MAX> を独自の値に置き換えます。

      注記

      推論スループットは、n-gram による推測に使用されるモデルによって異なります。

4. ドラフトモデルで投機的デコーディングに vLLM モデルサービングランタイムを設定するには、以下を実行します。

   1. --model 引数を削除します。

      containers:
        - args:
            - --model=/mnt/models

   2. 次の引数を追加します。

      containers:
        - args:
            - --port=8080
            - --served-model-name={{.Name}}
            - --distributed-executor-backend=mp
            - --model=/mnt/models/<path_to_original_model>
            - --speculative-model=/mnt/models/<path_to_speculative_model>
            - --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
            - --use-v2-block-manager

   3. <path_to_speculative_model> と <path_to_original_model> を、S3 互換オブジェクトストレージ上の投機的モデルと元のモデルへのパスに置き換えます。
   4. <NUM_SPECULATIVE_TOKENS> を独自の値に置き換えます。

5. マルチモーダル推論用に vLLM モデルサービングランタイムを設定するには、以下を実行します。

   1. 次の引数を追加します。

      containers:
        - args:
            - --trust-remote-code

      注記

      --trust-remote-code 引数は、信頼できるソースからのモデルでのみ使用してください。

6. Update をクリックします。

   Serving runtimes ページが開き、インストール済みランタイムのリストが表示されます。更新したカスタムモデルサービングランタイムが表示されていることを確認します。

7. シングルモデルサービングプラットフォームへのモデルのデプロイ の説明に従って、カスタムランタイムを使用してモデルをデプロイします。

手順

1. OpenShift AI ダッシュボードから、Settings > Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. モデルのデプロイに使用したランタイムに基づき、次のいずれかのアクションを実行します。

   • プリインストールされた TGIS Standalone ServingRuntime for KServe ランタイムを使用した場合は、ランタイムを複製してカスタムバージョンを作成してから残りの手順を実行します。プリインストールされている TGIS ランタイムの複製に関する詳細は、シングルモデルサービングプラットフォーム用のカスタムモデルサービングランタイムの追加 を参照してください。

   • すでにカスタム TGIS ランタイムを使用している場合は、ランタイムの横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

     埋め込み YAML エディターが開き、カスタムモデルサービングランタイムの内容が表示されます。

3. BATCH_SAFETY_MARGIN 環境変数を追加または更新し、値を 30 に設定します。同様に、ESTIMATE_MEMORY_BATCH_SIZE 環境変数を追加または更新し、値を 8 に設定します。

   spec:
     containers:
       env:
       - name: BATCH_SAFETY_MARGIN
         value: 30
       - name: ESTIMATE_MEMORY_BATCH
         value: 8

   注記

   BATCH_SAFETY_MARGIN パラメーターは、OOM 状態を回避するための安全マージンとして保持する空き GPU メモリーの割合を設定します。BATCH_SAFETY_MARGIN のデフォルト値は 20 です。ESTIMATE_MEMORY_BATCH_SIZE パラメーターは、メモリー自動チューニングアルゴリズムで使用されるバッチサイズを設定します。ESTIMATE_MEMORY_BATCH_SIZE のデフォルト値は 16 です。

4. Update をクリックします。

   Serving runtimes ページが開き、インストール済みランタイムのリストが表示されます。更新したカスタムモデルサービングランタイムが表示されていることを確認します。

5. モデルを再デプロイしてパラメーターの更新を反映するには、次のアクションを実行します。

   1. OpenShift AI ダッシュボードから、Model Serving > Deployed Models をクリックします。
   2. 再デプロイするモデルを見つけて、モデルの横にあるアクションメニュー (⋮) をクリックし、Delete を選択します。
   3. シングルモデルサービングプラットフォームへのモデルのデプロイ の説明に従って、モデルを再デプロイします。

手順

1. OpenShift AI ホームページで、Explore をクリックします。
2. Explore ページで、NVIDIA NIM タイルを見つけます。
3. アプリケーションタイルで Enable をクリックします。
4. NVIDIA AI Enterprise ライセンスキーを入力し、Submit をクリックします。

手順

1. 左側のメニューで、Data Science Projects をクリックします。

   Data Science Projects ページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. ​​NVIDIA NIM model serving platform タイルで、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。
   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

   6. Accelerator リストから、NVIDIA GPU アクセラレーターを選択します。

      Number of accelerators フィールドが表示されます。

   7. Number of accelerators フィールドで、使用するアクセラレーターの数を指定します。デフォルト値は 1 です。
   8. Deploy をクリックします。