モデルのサービング (提供)

手順

1. 次のようにシングルモデルサービングプラットフォームを有効にします。

   1. 左側のメニューで、Settings → Cluster settings をクリックします。
   2. Model serving platforms セクションを見つけます。
   3. プロジェクトに対してシングルモデルサービングプラットフォームを有効にするには、Single model serving platform チェックボックスをオンにします。
   4. Save changes をクリックします。

2. 次のように、シングルモデルサービングプラットフォーム用のプリインストールされたランタイムを有効にします。

   1. OpenShift AI ダッシュボードの左側のメニューで、Settings → Serving runtimes をクリックします。

      Serving runtimes ページには、プリインストールされたランタイムと追加したカスタムランタイムが表示されます。

      プリインストールされたランタイムの詳細は、サポートされているランタイム を参照してください。

   2. 使用するランタイムを Enabled に設定します。

      これで、シングルモデルサービングプラットフォームをモデルのデプロイに使用できるようになりました。

手順

1. OpenShift AI ダッシュボードから、Settings → Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. カスタムランタイムを追加するには、次のオプションのいずれかを選択します。

   • 既存のランタイム (たとえば、vLLM NVIDIA GPU ServingRuntime for KServe) から開始するには、既存のランタイムの横にあるアクションメニュー (⋮) をクリックし、Duplicate をクリックします。
   • 新しいカスタムランタイムを追加するには、Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。

5. オプション: (既存のランタイムを複製するのではなく) 新しいランタイムを開始した場合は、次のオプションのいずれかを選択してコードを追加します。

   • YAML ファイルをアップロードする

     1. Upload files をクリックします。

     2. ファイルブラウザーで、コンピューター上の YAML ファイルを選択します。

        埋め込み YAML エディターが開き、アップロードしたファイルの内容が表示されます。

   • エディターに YAML コードを直接入力する

     1. Start from scratch をクリックします。
     2. 埋め込みエディターに YAML コードを直接入力または貼り付けます。
   注記

   多くの場合、カスタムランタイムを作成するには、ServingRuntime 仕様の env セクションに新しいパラメーターまたはカスタムパラメーターを追加する必要があります。

6. Add をクリックします。

   Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したカスタムランタイムが自動的に有効になることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

7. オプション: カスタムランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. OpenShift AI ダッシュボードから、Settings → Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. Add serving runtime をクリックします。
3. Select the model serving platforms this runtime supports リストで、Single-model serving platform を選択します。
4. Select the API protocol this runtime supports リストで、REST または gRPC を選択します。
5. Start from scratch をクリックします。

6. NVIDIA Triton Inference Server ランタイムを追加するには、次の手順に従います。

   1. REST API プロトコルを選択した場合は、埋め込みエディターに次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"

      Copy to Clipboard Toggle word wrap

   2. gRPC API プロトコルを選択した場合は、埋め込みエディターで次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: triton-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          prometheus.kserve.io/path: /metrics
          prometheus.kserve.io/port: "8002"
        containers:
          - args:
              - tritonserver
              - --model-store=/mnt/models
              - --grpc-port=9000
              - --http-port=8080
              - --allow-grpc=true
              - --allow-http=true
            image: nvcr.io/nvidia/tritonserver@sha256:xxxxx
            name: kserve-container
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            volumeMounts:
              - mountPath: /dev/shm
                name: shm
            resources:
              limits:
                cpu: "1"
                memory: 2Gi
              requests:
                cpu: "1"
                memory: 2Gi
        protocolVersions:
          - v2
          - grpc-v2
        supportedModelFormats:
          - autoSelect: true
            name: tensorrt
            version: "8"
          - autoSelect: true
            name: tensorflow
            version: "1"
          - autoSelect: true
            name: tensorflow
            version: "2"
          - autoSelect: true
            name: onnx
            version: "1"
          - name: pytorch
            version: "1"
          - autoSelect: true
            name: triton
            version: "2"
          - autoSelect: true
            name: xgboost
            version: "1"
          - autoSelect: true
            name: python
            version: "1"
      volumes:
        - emptyDir: null
          medium: Memory
          sizeLimit: 2Gi
          name: shm

      Copy to Clipboard Toggle word wrap

7. Seldon MLServer ランタイムを追加するには、次の手順に従います。

   1. REST API プロトコルを選択した場合は、埋め込みエディターに次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: mlserver-kserve-rest
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          openshift.io/display-name: Seldon MLServer
          prometheus.kserve.io/port: "8080"
          prometheus.kserve.io/path: /metrics
        containers:
          - name: kserve-container
            image: 'docker.io/seldonio/mlserver@sha256:07890828601515d48c0fb73842aaf197cbcf245a5c855c789e890282b15ce390'
            env:
              - name: MLSERVER_HTTP_PORT
                value: "8080"
              - name: MLSERVER_GRPC_PORT
                value: "9000"
              - name: MODELS_DIR
                value: /mnt/models
            resources:
              requests:
                cpu: "1"
                memory: 2Gi
              limits:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 8080
                protocol: TCP
            securityContext:
              allowPrivilegeEscalation: false
              capabilities:
                drop:
                  - ALL
              privileged: false
              runAsNonRoot: true
        protocolVersions:
          - v2
        multiModel: false
        supportedModelFormats:
          - name: sklearn
            version: "0"
            autoSelect: true
            priority: 2
          - name: sklearn
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "2"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "3"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "4"
            autoSelect: true
            priority: 2
          - name: mlflow
            version: "1"
            autoSelect: true
            priority: 1
          - name: mlflow
            version: "2"
            autoSelect: true
            priority: 1
          - name: catboost
            version: "1"
            autoSelect: true
            priority: 1
          - name: huggingface
            version: "1"
            autoSelect: true
            priority: 1

      Copy to Clipboard Toggle word wrap

   2. gRPC API プロトコルを選択した場合は、埋め込みエディターで次の YAML コードを直接入力または貼り付けます。

      apiVersion: serving.kserve.io/v1alpha1
      kind: ServingRuntime
      metadata:
        name: mlserver-kserve-grpc
        labels:
          opendatahub.io/dashboard: "true"
      spec:
        annotations:
          openshift.io/display-name: Seldon MLServer
          prometheus.kserve.io/port: "8080"
          prometheus.kserve.io/path: /metrics
        containers:
          - name: kserve-container
            image: 'docker.io/seldonio/mlserver@sha256:07890828601515d48c0fb73842aaf197cbcf245a5c855c789e890282b15ce390'
            env:
              - name: MLSERVER_HTTP_PORT
                value: "8080"
              - name: MLSERVER_GRPC_PORT
                value: "9000"
              - name: MODELS_DIR
                value: /mnt/models
            resources:
              requests:
                cpu: "1"
                memory: 2Gi
              limits:
                cpu: "1"
                memory: 2Gi
            ports:
              - containerPort: 9000
                name: h2c
                protocol: TCP
            securityContext:
              allowPrivilegeEscalation: false
              capabilities:
                drop:
                  - ALL
              privileged: false
              runAsNonRoot: true
        protocolVersions:
          - v2
        multiModel: false
        supportedModelFormats:
          - name: sklearn
            version: "0"
            autoSelect: true
            priority: 2
          - name: sklearn
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "1"
            autoSelect: true
            priority: 2
          - name: xgboost
            version: "2"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "3"
            autoSelect: true
            priority: 2
          - name: lightgbm
            version: "4"
            autoSelect: true
            priority: 2
          - name: mlflow
            version: "1"
            autoSelect: true
            priority: 1
          - name: mlflow
            version: "2"
            autoSelect: true
            priority: 1
          - name: catboost
            version: "1"
            autoSelect: true
            priority: 1
          - name: huggingface
            version: "1"
            autoSelect: true
            priority: 1

      Copy to Clipboard Toggle word wrap
8. metadata.name フィールドで、追加するランタイムの値が、すでに追加されているランタイムと同じでないことを確認します。

9. オプション: 追加するランタイムのカスタム表示名を使用するには、次の例に示すように、metadata.annotations.openshift.io/display-name フィールドを追加し、値を指定します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: kserve-triton
     annotations:
       openshift.io/display-name: Triton ServingRuntime

   Copy to Clipboard Toggle word wrap
   注記

   ランタイムのカスタム表示名を設定しないと、OpenShift AI には metadata.name フィールドの値が表示されます。

10. Create をクリックします。

    Serving runtimes ページが開き、インストールされているランタイムの更新されたリストが表示されます。追加したランタイムが自動的に有効になっていることを確認します。ランタイム作成時に指定した API プロトコルが表示されます。

11. オプション: ランタイムを編集するには、アクションメニュー (⋮) をクリックし、Edit を選択します。

手順

1. 左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。プロジェクトスコープのランタイムが存在する場合、Serving runtime リストには、グローバルランタイムとプロジェクトスコープのランタイムを区別するためのサブ見出しが含まれます。
7. Model framework (name - version) リストから値を選択します。
8. Deployment mode リストから、standard または advanced を選択します。デプロイメントモードの詳細は、KServe デプロイメントモードについて を参照してください。
9. Number of model server replicas to deploy フィールドに値を指定します。

10. 次のオプションは、ハードウェアプロファイルを作成した場合にのみ使用できます。

    1. Hardware profile リストから、ハードウェアプロファイルを選択します。プロジェクトスコープのハードウェアプロファイルが存在する場合、Hardware profile リストには、グローバルハードウェアプロファイルとプロジェクトスコープのハードウェアプロファイルを区別するためのサブ見出しが含まれます。

       重要

       デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings → Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

    2. オプション: これらのデフォルト値を変更するには、Customize resource requests and limit をクリックし、新しい最小値 (要求) と最大値 (制限) を入力します。ハードウェアプロファイルは、コンテナーに割り当てられる CPU の数とメモリーの量を指定し、両方に対して保証される最小値 (要求) と最大値 (制限) を設定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

    1. Require token authentication を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
    3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

13. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存の接続を使用します。

      1. Existing connection を選択します。

      2. Name リストから、以前に定義した接続を選択します。

         1. S3 互換オブジェクトストレージの場合: Path フィールドに、指定したデータソース内のモデルが含まれるフォルダーパスを入力します。

            重要

            OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

         2. Open Container Image 接続の場合: OCI storage location フィールドに、モデルが配置されているモデル URI を入力します。

            注記

            既存の S3、URI、または OCI データ接続を使用して登録済みのモデルバージョンをデプロイする場合は、接続に関する詳細の一部が自動入力されることがあります。これは、データ接続の種類と、データサイエンスプロジェクトで使用できる一致する接続の数によって異なります。たとえば、一致する接続が 1 つだけ存在する場合、パス、URI、エンドポイント、モデル URI、バケット、リージョンなどのフィールドが自動的に入力されることがあります。一致する接続には Recommended というラベルが付けられます。

    • 新しい接続を使用します。

      1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

         1. Add connection モーダルで、Connection type を選択します。OCI-compliant registry、S3 compatible object storage、URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

            選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

      2. 接続の詳細フィールドに入力します。

         重要

         接続タイプが S3 互換オブジェクトストレージの場合は、データファイルが含まれるフォルダーパスを指定する必要があります。OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

14. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

    2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

       Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

       注記

       ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

15. Deploy をクリックします。

手順

1. OpenShift コンソールにクラスター管理者としてログインします。
2. モデルをデプロイしたプロジェクトを選択します。
3. Administrator パースペクティブで、Home → Search をクリックします。
4. Resources ドロップダウンメニューから、InferenceService を検索します。

5. spec.predictor.annotations の下の serving.knative.dev/progress-deadline を新しいタイムアウトに変更します。

   apiVersion: serving.kserve.io/v1alpha1
   kind: InferenceService
   metadata:
     name: my-inference-service
   spec:
     predictor:
       annotations:
         serving.knative.dev/progress-deadline: 30m

   Copy to Clipboard Toggle word wrap
   注記

   必ず spec.predictor.annotations レベルで progress-deadline を設定して、KServe の InferenceService が progress-deadline を KNative Service オブジェクトにコピーできるようにしてください。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   Model deployments ページが開きます。

2. カスタマイズするモデル名の横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

   Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

3. Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

   1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

   2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

      注記

      ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

4. ランタイムパラメーターのカスタマイズが完了したら、Redeploy をクリックして、変更を加えたモデルを保存してデプロイします。

手順

1. シングルモデルサービングプラットフォームへのモデルのデプロイ で説明されている手順に従って、モデルをデプロイします。
2. Serving runtime フィールドで、vLLM ServingRuntime for KServe を選択します。

3. meta-llama-3 モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   –-distributed-executor-backend=mp 

   1

   
   --max-model-len=6144 

   2

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 6144 トークンに設定します。

4. granite-7B-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

5. granite-20B-code-instruct モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   
   –-tensor-parallel-size=4 

   2

   
   --max-model-len=6448 

   3

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   シングルノード内の 4 つの GPU に推論を分散します。

   3

   モデルの最大コンテキスト長を 6448 トークンに設定します。

6. mistral-7B-Instruct-v0.3 model モデルをデプロイする場合は、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --distributed-executor-backend=mp 

   1

   
   --max-model-len=15344 

   2

   Copy to Clipboard Toggle word wrap

   1

   分散モデルワーカーのバックエンドをマルチプロセッシングに設定します。

   2

   モデルの最大コンテキスト長を 15344 トークンに設定します。

7. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. デプロイされたモデルが含まれるプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models and model servers リストで、モデルのセクションを展開します。

   認証トークンは、Token secret フィールドの Token authentication セクションに表示されます。

5. オプション: 推論リクエストで使用する認証トークンをコピーするには、トークン値の横に表示される Copy ボタン ( ) をクリックします。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。

2. モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
3. エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 使用するモデルを選択します。

5. Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、リクエスト数、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. ターミナルウィンドウで、クラスター管理者として OpenShift CLI にログインします。
2. Grafana Operator およびメトリクスダッシュボードをインストールするためのオーバーレイをまだ作成していない場合は、RHOAI UWM リポジトリー を参照して作成します。

3. 作成したオーバーレイを使用して、Grafana インスタンスおよびメトリクスダッシュボードを OpenShift クラスターにインストールします。<overlay-name> は、オーバーレイの名前に置き換えます。

   oc apply -k overlays/<overlay-name>

   Copy to Clipboard Toggle word wrap

4. Grafana インスタンスの URL を取得します。<namespace> は、Grafana インスタンスが含まれる namespace に置き換えます。

   oc get route -n <namespace> grafana-route -o jsonpath='{.spec.host}'

   Copy to Clipboard Toggle word wrap

   次の例のような出力が表示されます。URL を使用して Grafana インスタンスにアクセスします。

   grafana-<namespace>.apps.example-openshift.com

   Copy to Clipboard Toggle word wrap

手順

1. 次の例のように、YAML ファイルで GrafanaDashboard オブジェクトを定義します。

   1. アクセラレーターメトリクスを監視するには、nvidia-vllm-dashboard.yaml を参照してください。
   2. vLLM メトリクスを監視するには、grafana-vllm-dashboard.yaml を参照してください。

2. 以下の例のような inputs.env ファイルを作成します。NAMESPACE パラメーターおよび MODEL_NAME パラメーターを独自の値に置き換えます。

   NAMESPACE=<namespace> 

   1

   
   MODEL_NAME=<model-name> 

   2

   Copy to Clipboard Toggle word wrap

   1

   NAMESPACE は、モデルがデプロイされるターゲット namespace です。

   2

   MODEL_NAME は、InferenceService で定義されているモデル名です。モデル名は、Grafana ダッシュボードで Pod 名をフィルタリングするためにも使用されます。

3. 以下のアクションを実行して、YAML ファイルの NAMESPACE パラメーターおよび MODEL_NAME パラメーターを input.env ファイルの値に置き換えます。

   1. inputs.env に記載されているパラメーターを環境変数としてエクスポートします。

      export $(cat inputs.env | xargs)

      Copy to Clipboard Toggle word wrap

   2. YAML ファイル内の $NAMESPACE および ${MODEL_NAME) 変数を、エクスポートした環境変数の値に置き換えます。

      envsubst '${NAMESPACE} ${MODEL_NAME}' < nvidia-vllm-dashboard.yaml > nvidia-vllm-dashboard-replaced.yaml

      Copy to Clipboard Toggle word wrap
4. YAML ファイルに更新された値が含まれていることを確認します。

5. ダッシュボードオブジェクトをデプロイします。

   oc create -f nvidia-vllm-dashboard-replaced.yaml

   Copy to Clipboard Toggle word wrap

手順

1. シングルモデルサービングプラットフォームへのモデルのデプロイ で説明されている手順に従って、モデルをデプロイします。
2. Serving runtime フィールドで、vLLM NVIDIA GPU ServingRuntime for KServe を選択します。

3. プロンプト内での n-gram のマッチングを使用した投機的デコーディング用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --speculative-model=[ngram]
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --ngram-prompt-lookup-max=<NGRAM_PROMPT_LOOKUP_MAX>
   --use-v2-block-manager

   Copy to Clipboard Toggle word wrap

   1. <NUM_SPECULATIVE_TOKENS> と <NGRAM_PROMPT_LOOKUP_MAX> を独自の値に置き換えます。

      注記

      推論スループットは、n-gram による推測に使用されるモデルによって異なります。

4. ドラフトモデルを使用した投機的デコーディング用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --port=8080
   --served-model-name={{.Name}}
   --distributed-executor-backend=mp
   --model=/mnt/models/<path_to_original_model>
   --speculative-model=/mnt/models/<path_to_speculative_model>
   --num-speculative-tokens=<NUM_SPECULATIVE_TOKENS>
   --use-v2-block-manager

   Copy to Clipboard Toggle word wrap
   1. <path_to_speculative_model> と <path_to_original_model> を、S3 互換オブジェクトストレージ上の投機的モデルと元のモデルへのパスに置き換えます。
   2. <NUM_SPECULATIVE_TOKENS> を独自の値に置き換えます。

5. マルチモーダル推論用に vLLM モデルサービングランタイムを設定するには、Configuration parameters セクションの Additional serving runtime arguments に次の引数を追加します。

   --trust-remote-code

   Copy to Clipboard Toggle word wrap
   注記

   --trust-remote-code 引数は、信頼できるソースからのモデルでのみ使用してください。

6. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードから、Settings → Serving runtimes をクリックします。

   Serving runtimes ページが開き、すでにインストールされ有効になっているモデルサービングランタイムが表示されます。

2. モデルのデプロイに使用したランタイムに基づき、次のいずれかのアクションを実行します。

   • プリインストールされた Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe ランタイムを使用した場合は、ランタイムを複製してカスタムバージョンを作成してから残りの手順を実行します。プリインストールされている TGIS ランタイムの複製の詳細は、シングルモデルサービングプラットフォーム用のカスタムモデルサービングランタイムの追加 を参照してください。

   • すでにカスタム TGIS ランタイムを使用している場合は、ランタイムの横にあるアクションメニュー (⋮) をクリックし、Edit を選択します。

     埋め込み YAML エディターが開き、カスタムモデルサービングランタイムの内容が表示されます。

3. BATCH_SAFETY_MARGIN 環境変数を追加または更新し、値を 30 に設定します。同様に、ESTIMATE_MEMORY_BATCH_SIZE 環境変数を追加または更新し、値を 8 に設定します。

   spec:
     containers:
       env:
       - name: BATCH_SAFETY_MARGIN
         value: 30
       - name: ESTIMATE_MEMORY_BATCH
         value: 8

   Copy to Clipboard Toggle word wrap
   注記

   BATCH_SAFETY_MARGIN パラメーターは、OOM 状態を回避するための安全マージンとして保持する空き GPU メモリーの割合を設定します。BATCH_SAFETY_MARGIN のデフォルト値は 20 です。ESTIMATE_MEMORY_BATCH_SIZE パラメーターは、メモリー自動チューニングアルゴリズムで使用されるバッチサイズを設定します。ESTIMATE_MEMORY_BATCH_SIZE のデフォルト値は 16 です。

4. Update をクリックします。

   Serving runtimes ページが開き、インストール済みランタイムのリストが表示されます。更新したカスタムモデルサービングランタイムが表示されていることを確認します。

5. モデルを再デプロイしてパラメーターの更新を反映するには、次のアクションを実行します。

   1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。
   2. 再デプロイするモデルを見つけて、モデルの横にあるアクションメニュー (⋮) をクリックし、Delete を選択します。
   3. シングルモデルサービングプラットフォームへのモデルのデプロイ の説明に従って、モデルを再デプロイします。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Applications → Explore をクリックします。
2. Explore ページで、NVIDIA NIM タイルを見つけます。
3. アプリケーションタイルで Enable をクリックします。
4. NGC API キーを入力し、Submit をクリックします。

手順

1. 左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models セクションで、次のいずれかの操作クションを実行します。

   • NVIDIA NIM model serving platform タイルで、タイル上の Select NVIDIA NIM をクリックし、Deploy model をクリックします。
   • 以前に NVIDIA NIM モデルサービングタイプを選択した場合は、Models ページの右上隅に NVIDIA model serving enabled が表示され、Deploy model ボタンも表示されます。続行するには、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。詳細は、Supported Models を参照してください。
   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。
   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

6. Hardware profile リストから、ハードウェアプロファイルを選択します。

   重要

   デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings → Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

7. オプション: Customize resource requests and limit をクリックし、次の値を更新します。

   1. CPUs requests フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limits フィールドで、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requests フィールドで、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limits フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。
8. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

9. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

   1. Require token authentication を選択します。
   2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
   3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。
10. Deploy をクリックします。

手順

1. ターミナルウィンドウで、以下の例のように、クラスター管理者として OpenShift CLI にログインします。

   oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 次の例のような、NVIDIA NIM モデルサービスプラットフォームで選択できるようにするモデル ID を含む ConfigMap オブジェクトを YAML ファイルで定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
    name: nvidia-nim-enabled-models
   data:
    models: |-
       [
       "mistral-nemo-12b-instruct",
       "llama3-70b-instruct",
       "phind-codellama-34b-v2-instruct",
       "deepseek-r1",
       "qwen-2.5-72b-instruct"
       ]

   Copy to Clipboard Toggle word wrap

3. Account CR の名前および namespace を確認します。

   oc get account -A

   Copy to Clipboard Toggle word wrap

   次の例のような出力が表示されます。

   NAMESPACE         NAME       TEMPLATE  CONFIGMAP  SECRET
   redhat-ods-applications  odh-nim-account

   Copy to Clipboard Toggle word wrap

4. ConfigMap オブジェクトを Account CR と同じ namespace にデプロイします。

   oc apply -f <configmap-name> -n <namespace>

   Copy to Clipboard Toggle word wrap

   <configmap-name> は YAML ファイルの名前に、<namespace> は Account CR の namespace に置き換えます。

5. 以前に作成した ConfigMap オブジェクトを、Account CR の spec.modelListConfig セクションに追加します。

   oc patch account <account-name> \
     --type='merge' \
     	-p '{"spec": {"modelListConfig": {"name": "<configmap-name>"}}}'

   Copy to Clipboard Toggle word wrap

   <account-name> は Account CR の名前に、<configmap-name> は ConfigMap オブジェクトに置き換えます。

6. ConfigMap オブジェクトが Account CR に追加されたことを確認します。

   oc get account <account-name> -o yaml

   Copy to Clipboard Toggle word wrap

   以下の出力のように、Account CR の spec.modelListConfig セクションに ConfigMap オブジェクトが表示されます。

   spec:
    enabledModelsConfig:
    modelListConfig:
     name: <configmap-name>

   Copy to Clipboard Toggle word wrap