モデルのデプロイ

手順

1. ローカルマシンのターミナルウィンドウで、OCI イメージの作成に必要なモデルファイルとサポートファイルの両方を保存するための一時ディレクトリーを作成します。

   cd $(mktemp -d)

   Copy to Clipboard Toggle word wrap

2. 一時ディレクトリー内に models フォルダーを作成します。

   mkdir -p models/1

   Copy to Clipboard Toggle word wrap
   注記

   この例のコマンドでは、サブディレクトリー 1 を指定します。これは、OpenVINO がモデルのバージョン管理に番号付きのサブディレクトリーを必要とするためです。OpenVINO を使用していない場合は、OCI コンテナーイメージを使用するために 1 サブディレクトリーを作成する必要はありません。

3. モデルとサポートファイルをダウンロードします。

   DOWNLOAD_URL=https://github.com/onnx/models/raw/main/validated/vision/classification/mobilenet/model/mobilenetv2-7.onnx
   curl -L $DOWNLOAD_URL -O --output-dir models/1/

   Copy to Clipboard Toggle word wrap

4. tree コマンドを使用して、モデルファイルが期待どおりにディレクトリー構造内に配置されていることを確認します。

   tree

   Copy to Clipboard Toggle word wrap

   tree コマンドで、次の例のようなディレクトリー構造が返されるはずです。

   .
   ├── Containerfile
   └── models
       └── 1
           └── mobilenetv2-7.onnx

   Copy to Clipboard Toggle word wrap

5. Containerfile という名前の Docker ファイルを作成します。

   注記
   • シェルを提供するベースイメージを指定してください。次の例では、ubi9-micro がベースコンテナーイメージです。scratch などのシェルを提供しない空のイメージを指定することはできません。KServe はシェルを使用してモデルファイルがモデルサーバーにアクセス可能であることを確認するためです。
   • コピーしたモデルファイルの所有権を変更し、root グループに読み取り権限を付与して、モデルサーバーがファイルにアクセスできるようにしてください。OpenShift は、ランダムなユーザー ID と root グループ ID を使用してコンテナーを実行します。

   FROM registry.access.redhat.com/ubi9/ubi-micro:latest
   COPY --chown=0:0 models /models
   RUN chmod -R a=rX /models
   
   # nobody user
   USER 65534

   Copy to Clipboard Toggle word wrap

6. podman build コマンドを使用して OCI コンテナーイメージを作成し、レジストリーにアップロードします。次のコマンドでは、レジストリーとして Quay を使用します。

   注記

   リポジトリーがプライベートの場合は、コンテナーイメージをアップロードする前に、レジストリーに対して認証されていることを確認してください。

   podman build --format=oci -t quay.io/<user_name>/<repository_name>:<tag_name> .
   podman push quay.io/<user_name>/<repository_name>:<tag_name>

   Copy to Clipboard Toggle word wrap

手順

1. 左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​​Single-model serving platform タイルが表示された場合は、タイル上の Deploy model をクリックします。
   • タイルが表示されない場合は、Deploy model ボタンをクリックします。

   Deploy model ダイアログが開きます。

5. Model deployment name フィールドに、デプロイするモデルの一意の名前を入力します。
6. Serving runtime フィールドで、有効なランタイムを選択します。プロジェクトスコープのランタイムが存在する場合、Serving runtime リストには、グローバルランタイムとプロジェクトスコープのランタイムを区別するためのサブ見出しが含まれます。
7. Model framework (name - version) リストから値を選択します。
8. Deployment mode リストから、standard または advanced を選択します。デプロイメントモードの詳細は、KServe デプロイメントモードについて を参照してください。
9. Number of model server replicas to deploy フィールドに値を指定します。

10. 次のオプションは、ハードウェアプロファイルを作成した場合にのみ使用できます。

    1. Hardware profile リストから、ハードウェアプロファイルを選択します。プロジェクトスコープのハードウェアプロファイルが存在する場合、Hardware profile リストには、グローバルハードウェアプロファイルとプロジェクトスコープのハードウェアプロファイルを区別するためのサブ見出しが含まれます。

       重要

       デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings → Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

    2. オプション: これらのデフォルト値を変更するには、Customize resource requests and limit をクリックし、新しい最小値 (要求) と最大値 (制限) を入力します。ハードウェアプロファイルは、コンテナーに割り当てられる CPU の数とメモリーの量を指定し、両方に対して保証される最小値 (要求) と最大値 (制限) を設定します。
11. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

12. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

    1. Require token authentication を選択します。
    2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
    3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

13. モデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

    • 既存の接続を使用します。

      1. Existing connection を選択します。

      2. Name リストから、以前に定義した接続を選択します。

         1. S3 互換オブジェクトストレージの場合: Path フィールドに、指定したデータソース内のモデルが含まれるフォルダーパスを入力します。

            重要

            OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

         2. Open Container Image 接続の場合: OCI storage location フィールドに、モデルが配置されているモデル URI を入力します。

            注記

            既存の S3、URI、または OCI データ接続を使用して登録済みのモデルバージョンをデプロイする場合は、接続に関する詳細の一部が自動入力されることがあります。これは、データ接続の種類と、データサイエンスプロジェクトで使用できる一致する接続の数によって異なります。たとえば、一致する接続が 1 つだけ存在する場合、パス、URI、エンドポイント、モデル URI、バケット、リージョンなどのフィールドが自動的に入力されることがあります。一致する接続には Recommended というラベルが付けられます。

    • 新しい接続を使用します。

      1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

         1. Add connection モーダルで、Connection type を選択します。OCI-compliant registry、S3 compatible object storage、URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

            選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

      2. 接続の詳細フィールドに入力します。

         重要

         接続タイプが S3 互換オブジェクトストレージの場合は、データファイルが含まれるフォルダーパスを指定する必要があります。OpenVINO Model Server ランタイムには、モデルパスの指定方法に関する特定の要件があります。詳細は、OpenShift AI リリースノートの既知の問題 RHOAIENG-3025 を参照してください。

14. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

    1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。

    2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。

       Configuration parameters セクションに、事前定義されたサービングランタイムパラメーターが表示されます (利用可能な場合)。

       注記

       ポートまたはモデルサービングランタイムの引数は変更しないでください。これらの引数には、特定の値を設定する必要があるためです。これらのパラメーターを上書きすると、デプロイが失敗する可能性があります。

15. Deploy をクリックします。

手順

1. モデルをデプロイするためのプロジェクトを作成します。

   oc new-project oci-model-example

   Copy to Clipboard Toggle word wrap

2. OpenShift AI アプリケーションプロジェクトの kserve-ovms テンプレートを使用して ServingRuntime リソースを作成し、新しいプロジェクトで OpenVINO モデルサーバーを設定します。

   oc process -n redhat-ods-applications -o yaml kserve-ovms | oc apply -f -

   Copy to Clipboard Toggle word wrap

3. kserve-ovms という名前の ServingRuntime が作成されていることを確認します。

   oc get servingruntimes

   Copy to Clipboard Toggle word wrap

   このコマンドは、次のような出力を返すはずです。

   NAME          DISABLED   MODELTYPE     CONTAINERS         AGE
   kserve-ovms              openvino_ir   kserve-container   1m

   Copy to Clipboard Toggle word wrap

4. モデルがプライベート OCI リポジトリーに保存されているか、パブリック OCI リポジトリーに保存されているかに応じて、InferenceService YAML リソースを作成します。

   • パブリック OCI リポジトリーに保存されているモデルの場合は、次の値を含む InferenceService YAML ファイルを作成し、<user_name>、<repository_name>、<tag_name> をお客様の環境固有の値に置き換えます。

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it

     Copy to Clipboard Toggle word wrap

   • プライベート OCI リポジトリーに保存されているモデルの場合は、次の例に示すように、spec.predictor.imagePullSecrets フィールドにプルシークレットを指定した InferenceService YAML ファイルを作成します。

     apiVersion: serving.kserve.io/v1beta1
     kind: InferenceService
     metadata:
       name: sample-isvc-using-private-oci
     spec:
       predictor:
         model:
           runtime: kserve-ovms # Ensure this matches the name of the ServingRuntime resource
           modelFormat:
             name: onnx
           storageUri: oci://quay.io/<user_name>/<repository_name>:<tag_name>
           resources:
             requests:
               memory: 500Mi
               cpu: 100m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
             limits:
               memory: 4Gi
               cpu: 500m
               # nvidia.com/gpu: "1" # Only required if you have GPUs available and the model and runtime will use it
         imagePullSecrets: # Specify image pull secrets to use for fetching container images, including OCI model images
         - name: <pull-secret-name>

     Copy to Clipboard Toggle word wrap

     InferenceService リソースを作成すると、KServe は storageUri フィールドによって参照される OCI イメージに保存されているモデルをデプロイします。

手順

1. 左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models セクションで、次のいずれかの操作クションを実行します。

   • NVIDIA NIM model serving platform タイルで、タイル上の Select NVIDIA NIM をクリックし、Deploy model をクリックします。
   • 以前に NVIDIA NIM モデルサービングタイプを選択した場合は、Models ページの右上隅に NVIDIA model serving enabled が表示され、Deploy model ボタンも表示されます。続行するには、Deploy model をクリックします。

   Deploy model ダイアログが開きます。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model deployment name フィールドに、デプロイメントの一意の名前を入力します。
   2. NVIDIA NIM リストから、デプロイする NVIDIA NIM モデルを選択します。詳細は、Supported Models を参照してください。

   3. NVIDIA NIM storage size フィールドで、NVIDIA NIM モデルを保存するために作成されるクラスターストレージインスタンスのサイズを指定します。

      注記

      OpenShift AI で Amazon EBS によってサポートされる PersistentVolumeClaim (PVC) のサイズを変更すると、VolumeModificationRateExceeded: You've reached the maximum modification rate per volume limit. エラーが発生する場合があります。このエラーを回避するには、EBS ボリュームごとに変更の間隔を少なくとも 6 時間空けてください。クールダウンの期間が終了する前に PVC のサイズを変更すると、Amazon EBS CSI ドライバー (ebs.csi.aws.com) がこのエラーで失敗します。このエラーは、Amazon EBS サービスの制限で、EBS ベースの PVC を使用するすべてのワークロードが対象です。

   4. Number of model server replicas to deploy フィールドに値を指定します。
   5. Model server size リストから値を選択します。

6. Hardware profile リストから、ハードウェアプロファイルを選択します。

   重要

   デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings → Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

7. オプション: Customize resource requests and limit をクリックし、次の値を更新します。

   1. CPUs requests フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limits フィールドで、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requests フィールドで、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limits フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。
8. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

9. デプロイされたモデルに対する推論リクエストにトークン認証を要求するには、次のアクションを実行します。

   1. Require token authentication を選択します。
   2. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。
   3. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。
10. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視する NIM モデルを含むプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 確認する NIM モデルをクリックします。

5. NIM Metrics タブで、以下のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. NIM メトリクスのデータグラフを表示するには、下にスクロールします。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視する NIM モデルを含むプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 確認する NIM モデルをクリックします。

5. Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • Refresh interval - メトリクスページのグラフを更新して最新のデータを表示する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、パフォーマンスメトリクスのデータグラフが表示されます。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルサーバーを設定するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. 次のいずれかの操作を実行します。

   • ​Multi-model serving platform タイルが表示された場合は、タイル上の Add model server をクリックします。
   • タイルが表示されない場合は、Add model server ボタンをクリックします。

   Add model server ダイアログが開きます。

5. Model server name フィールドに、モデルサーバーの一意の名前を入力します。

6. Serving runtime リストから、OpenShift AI デプロイメントにインストールされ有効になっているモデルサービングランタイムを選択します。

   注記

   モデルサーバーで カスタム モデルサービングランタイムを使用していて、GPU を使用したい場合は、カスタムランタイムが GPU をサポートし、GPU を使用するように適切に設定されていることを確認する必要があります。

7. Number of model replicas to deploy フィールドに値を指定します。

8. Accelerator profile リストから、アクセラレータープロファイルを選択します。

   重要

   デフォルトでは、ハードウェアプロファイルはダッシュボードのナビゲーションメニューとユーザーインターフェイスに表示されませんが、アクセラレータープロファイルは表示されます。非推奨となったアクセラレータープロファイル機能に関連付けられたユーザーインターフェイスコンポーネントは、引き続き表示されます。ハードウェアプロファイルを有効にすると、Accelerator profiles リストの代わりに Hardware profiles リストが表示されます。ダッシュボードのナビゲーションメニューの Settings → Hardware profiles オプションと、ハードウェアプロファイルに関連付けられたユーザーインターフェイスコンポーネントを表示するには、OpenShift の OdhDashboardConfig カスタムリソース (CR) で、disableHardwareProfiles 値を false に設定します。ダッシュボード設定オプションの設定に関する詳細は、ダッシュボードのカスタマイズ を参照してください。

9. オプション: Customize resource requests and limit をクリックし、次の値を更新します。

   1. CPUs requests フィールドで、モデルサーバーで使用する CPU の数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   2. CPU limits フィールドで、モデルサーバーで使用する CPU の最大数を指定します。このフィールドの横にあるリストを使用して、値をコアまたはミリコアで指定します。
   3. Memory requests フィールドで、モデルサーバーに要求されたメモリーをギビバイト (Gi) 単位で指定します。
   4. Memory limits フィールドに、モデルサーバーの最大メモリー制限をギビバイト (Gi) 単位で指定します。
10. オプション: Model route セクションで、Make deployed models available through an external route チェックボックスをオンにして、デプロイされたモデルを外部クライアントが利用できるようにします。

11. オプション: Token authentication セクションで、Require token authentication チェックボックスをオンにすると、モデルサーバーでトークン認証を必須にできます。トークン認証の設定を完了するには、次のアクションを実行します。

    1. Service account name フィールドに、トークンが生成されるサービスアカウント名を入力します。生成されたトークンは、モデルサーバーの設定時に作成され、Token secret フィールドに表示されます。
    2. 追加のサービスアカウントを追加するには、Add a service account をクリックし、別のサービスアカウント名を入力します。

12. Add をクリックします。

    • 設定したモデルサーバーは、プロジェクトの Models タブの Models and model servers リストに表示されます。
13. オプション: モデルサーバーを更新するには、モデルサーバーの横にあるアクションメニュー (⋮) をクリックし、Edit model server を選択します。

手順

1. OpenShift AI ダッシュボードで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルサーバーを削除するプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. モデルサーバーを削除するプロジェクトの横にあるアクションメニュー (⋮) をクリックし、Delete model server をクリックします。

   Delete model server ダイアログが開きます。

5. テキストフィールドにモデルサーバーの名前を入力して、削除することを確認します。
6. Delete model server をクリックします。

手順

1. OpenShift AI ダッシュボードの左側のメニューで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. モデルをデプロイするプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。
4. Deploy model をクリックします。

5. モデルをデプロイするためのプロパティーを次のように設定します。

   1. Model name フィールドに、デプロイするモデルの一意の名前を入力します。

   2. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   3. S3 互換オブジェクトストレージからデプロイするモデルの場所を指定するには、次の一連のアクションのいずれかを実行します。

      • 既存の接続を使用します。

        1. Existing connection を選択します。
        2. Name リストから、以前に定義した接続を選択します。

        3. Path フィールドに、指定したデータソース内のモデルを含むフォルダーパスを入力します。

           注記

           既存の S3 または URI データ接続を使用して登録済みのモデルバージョンをデプロイする場合は、接続に関する詳細の一部が自動入力されることがあります。これは、データ接続の種類と、データサイエンスプロジェクトで使用できる一致する接続の数によって異なります。たとえば、一致する接続が 1 つだけ存在する場合、パス、URI、エンドポイント、バケット、リージョンなどのフィールドが自動的に入力されることがあります。一致する接続には Recommended というラベルが付けられます。

      • 新しい接続を使用します。

        1. モデルがアクセスできる新しい接続を定義するには、New connection を選択します。

        2. Add connection モーダルで、Connection type を選択します。S3 compatible object storage オプションと URI オプションは、事前にインストールされた接続タイプです。OpenShift AI 管理者が追加した場合は、追加のオプションが利用できる場合があります。

           選択した接続タイプに固有のフィールドを含む Add connection フォームが開きます。

        3. 接続の詳細フィールドに入力します。

   4. (オプション) Configuration parameters セクションでランタイムパラメーターをカスタマイズします。

      1. Additional serving runtime arguments の値を変更して、デプロイされるモデルの動作を定義します。
      2. モデルの環境内の変数を定義するには、Additional environment variables の値を変更します。
   5. Deploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   Model deployments ページが開きます。

   このページには、モデルごとに、モデル名、モデルがデプロイされているプロジェクト、モデルが使用するモデルサービングランタイム、デプロイメントステータスなどの詳細が表示されます。

2. オプション: 特定のモデルの場合は、Inference endpoint 列のリンクをクリックして、デプロイされたモデルの推論エンドポイントを表示します。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   Model deployments ページが開きます。

2. 更新するデプロイメントプロパティーを持つモデルの横にあるアクションメニュー (⋮) をクリックし、Edit をクリックします。

   Edit model ダイアログが開きます。

3. 次のようにモデルのデプロイメントプロパティーを更新します。

   1. Model name フィールドに、モデルの新しい一意の名前を入力します。
   2. Model servers リストから、モデルのモデルサーバーを選択します。

   3. Model framework リストから、モデルのフレームワークを選択します。

      注記

      Model framework リストには、モデルサーバーの設定時に指定したモデルサービングランタイムによってサポートされるフレームワークのみが表示されます。

   4. 必要に応じて、既存の接続を指定するか、新しい接続を作成して接続を更新します。
   5. Redeploy をクリックします。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   Model deployments ページが開きます。

2. 削除するデプロイモデルの横にあるアクションメニュー (⋮) をクリックし、Delete をクリックします。

   Delete deployed model ダイアログが開きます。

3. テキストフィールドにデプロイしたモデルの名前を入力し、削除することを確認します。
4. Delete deployed model をクリックします。

手順

1. ターミナルウィンドウで、クラスター管理者として OpenShift クラスターにまだログインしていない場合は、次の例に示すように OpenShift CLI にログインします。

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. uwm-cm-conf.yaml という YAML ファイルに次の内容の ConfigMap オブジェクトを定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         logLevel: debug
         retention: 15d

   Copy to Clipboard Toggle word wrap

   user-workload-monitoring-config オブジェクトは、ユーザー定義プロジェクトを監視するコンポーネントを設定します。保持時間が推奨値の 15 日に設定されていることを確認します。

3. 設定を適用して user-workload-monitoring-config オブジェクトを作成します。

   $ oc apply -f uwm-cm-conf.yaml

   Copy to Clipboard Toggle word wrap

4. uwm-cm-enable.yaml という YAML ファイルに、次の内容で、別の ConfigMap オブジェクトを定義します。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       enableUserWorkload: true

   Copy to Clipboard Toggle word wrap

   cluster-monitoring-config オブジェクトを使用して、ユーザー定義プロジェクトの監視を有効にします。

5. 設定を適用して、cluster-monitoring-config オブジェクトを作成します。

   $ oc apply -f uwm-cm-enable.yaml

   Copy to Clipboard Toggle word wrap

手順

1. OpenShift Web コンソールにログインします。
2. Developer パースペクティブに切り替えます。
3. 左側のメニューで、Observe をクリックします。
4. Red Hat OpenShift Dedicated でのプロジェクトメトリクスのモニタリング または Red Hat OpenShift Service on AWS でのプロジェクトメトリクスのモニタリング で説明されているように、Web コンソールを使用して modelmesh_* メトリクスのクエリーを実行します。

手順

1. OpenShift AI ダッシュボードのナビゲーションメニューから、Data science projects をクリックします。

   Data science projects のページが開きます。

2. 監視するデータサイエンスモデルが含まれているプロジェクトの名前をクリックします。
3. プロジェクトの詳細ページで、Models タブをクリックします。
4. 関心のあるモデルサーバーの行で、アクションメニュー (⋮) をクリックしてから、View model server metrics を選択します。

5. オプション: モデルサーバーのメトリクスページで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。
6. 下にスクロールすると、5 分あたりの HTTP リクエスト、平均応答時間、CPU 使用率、メモリー使用率のデータグラフが表示されます。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。
2. Model deployments ページで、関心のあるモデルを選択します。

3. オプション: Endpoint performance タブで、次のオプションを設定します。

   • 時間範囲 - メトリクスを追跡する期間を指定します。1 時間、24 時間、7 日、30 日のいずれかの値を選択できます。
   • 更新間隔 - (最新のデータを表示するために) メトリクスページのグラフを更新する頻度を指定します。15 秒、30 秒、1 分、5 分、15 分、30 分、1 時間、2 時間、1 日の値のいずれかを選択できます。

手順

1. OpenShift AI ダッシュボードで、Data science projects をクリックします。

   Data science projects のページが開きます。

2. デプロイされたモデルが含まれるプロジェクトの名前をクリックします。

   プロジェクトの詳細ページが開きます。

3. Models タブをクリックします。

4. Models and model servers リストで、モデルのセクションを展開します。

   認証トークンは、Token secret フィールドの Token authentication セクションに表示されます。

5. オプション: 推論リクエストで使用する認証トークンをコピーするには、トークン値の横に表示される Copy ボタン ( ) をクリックします。

手順

1. OpenShift AI ダッシュボードで、Models → Model deployments をクリックします。

   モデルの推論エンドポイントは、Inference endpoint フィールドに表示されます。

2. モデルで実行するアクション (およびモデルがそのアクションをサポートしているかどうか) に応じて、表示されている推論エンドポイントをコピーし、URL の末尾にパスを追加します。
3. エンドポイントを使用して、デプロイされたモデルに API リクエストを送信します。