3.4. シングルモデルサービングプラットフォームにデプロイされたモデルに対する推論リクエストの実行

手順

1. コマンドラインターミナルを開き、クラスター管理者として OpenShift クラスターにログインします。

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

2. デフォルトでは、OpenShift はネットワークトラフィック管理にサービスメッシュを使用します。KServe の raw デプロイメントモードではサービスメッシュは必要ないため、Red Hat OpenShift Service Mesh を無効にします。

   1. Red Hat OpenShift Service Mesh を無効にするには、次のコマンドを入力します。

      $ oc edit dsci -n redhat-ods-operator

   2. YAML エディターで、serviceMesh コンポーネントの managementState の値を次のように Removed に変更します。

      spec:
        components:
          serviceMesh:
            managementState: Removed

   3. 変更を保存します。

3. プロジェクトを作成します。

   $ oc new-project <project_name> --description="<description>" --display-name="<display_name>"

   プロジェクトの作成に関する詳細は、プロジェクトの使用 を参照してください。

4. データサイエンスクラスターを作成します。

   1. Red Hat OpenShift Web コンソールの Administrator ビューで、Operators Installed Operators をクリックし、Red Hat OpenShift AI Operator をクリックします。
   2. Data Science Cluster タブをクリックします。
   3. Create DataScienceCluster ボタンをクリックします。
   4. Configure via フィールドで、YAML view ラジオボタンをクリックします。

   5. YAML エディターの spec.components セクションで、kserve コンポーネントを次のように設定します。

        kserve:
          defaultDeploymentMode: RawDeployment
          managementState: Managed
          serving:
            managementState: Removed
            name: knative-serving

   6. Create をクリックします。

5. シークレットファイルを作成します。

   1. コマンドラインターミナルで、シークレットを格納する YAML ファイルを作成し、次の YAML コードを追加します。

      apiVersion: v1
      kind: Secret
      metadata:
        annotations:
          serving.kserve.io/s3-endpoint: <AWS_ENDPOINT>
          serving.kserve.io/s3-usehttps: "1"
          serving.kserve.io/s3-region: <AWS_REGION>
          serving.kserve.io/s3-useanoncredential: "false"
        name: <Secret-name>
      stringData:
        AWS_ACCESS_KEY_ID: "<AWS_ACCESS_KEY_ID>"
        AWS_SECRET_ACCESS_KEY: "<AWS_SECRET_ACCESS_KEY>"

      重要

      切断されたデプロイメントで機械学習モデルをデプロイする場合は、metadata.annotations セクションに serving.kserve.io/s3-verifyssl: '0' を追加します。

   2. ファイルを secret.yaml というファイル名で保存します。

   3. secret.yaml ファイルを適用します。

      $ oc apply -f secret.yaml -n <namespace>

6. サービスアカウントを作成します。

   1. サービスアカウントを格納する YAML ファイルを作成し、次の YAML コードを追加します。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: models-bucket-sa
      secrets:
      - name: s3creds

      サービスアカウントの詳細は、サービスアカウントの理解と作成 を参照してください。

   2. ファイルを serviceAccount.yaml というファイル名で保存します。

   3. serviceAccount.yaml ファイルを適用します。

      $ oc apply -f serviceAccount.yaml -n <namespace>

7. モデルの予測を提供するコンテナーイメージを定義するために、サービングランタイム用の YAML ファイルを作成します。以下は OpenVINO Model Server の使用例です。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: ovms-runtime
   spec:
     annotations:
       prometheus.io/path: /metrics
       prometheus.io/port: "8888"
     containers:
       - args:
           - --model_name={{.Name}}
           - --port=8001
           - --rest_port=8888
           - --model_path=/mnt/models
           - --file_system_poll_wait_seconds=0
           - --grpc_bind_address=0.0.0.0
           - --rest_bind_address=0.0.0.0
           - --target_device=AUTO
           - --metrics_enable
         image: quay.io/modh/openvino_model_server@sha256:6c7795279f9075bebfcd9aecbb4a4ce4177eec41fb3f3e1f1079ce6309b7ae45
         name: kserve-container
         ports:
           - containerPort: 8888
             protocol: TCP
     multiModel: false
     protocolVersions:
       - v2
       - grpc-v2
     supportedModelFormats:
       - autoSelect: true
         name: openvino_ir
         version: opset13
       - name: onnx
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: paddle
         version: "2"
       - autoSelect: true
         name: pytorch
         version: "2"

   1. 上記の OpenVINO Model Server の例を使用している場合は、YAML コード内のプレースホルダーに必要な正しい値を挿入していることを確認してください。
   2. 適切なファイル名でファイルを保存します。

   3. サービングランタイムを含むファイルを適用します。

      $ oc apply -f <serving run time file name> -n <namespace>

8. InferenceService カスタムリソース (CR) を作成します。InferenceService CR を含むための YAML ファイルを作成します。以前使用した OpenVINO Model Server の例を使用する場合の対応する YAML コードは、次のとおりです。

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     annotations:
       serving.knative.openshift.io/enablePassthrough: "true"
       sidecar.istio.io/inject: "true"
       sidecar.istio.io/rewriteAppHTTPProbers: "true"
       serving.kserve.io/deploymentMode: RawDeployment
     name: <InferenceService-Name>
   spec:
     predictor:
       scaleMetric:
       minReplicas: 1
       scaleTarget:
       canaryTrafficPercent:
       serviceAccountName: <serviceAccountName>
       model:
         env: []
         volumeMounts: []
         modelFormat:
           name: onnx
         runtime: ovms-runtime
         storageUri: s3://<bucket_name>/<model_directory_path>
         resources:
           requests:
             memory: 5Gi
       volumes: []

   1. YAML コードで、次の値が正しく設定されていることを確認します。

      • serving.kserve.io/deploymentMode には、RawDeployment の値が含まれている必要があります。
      • modelFormat には、onnx などのモデル形式の値が含まれている必要があります。
      • storageUri には、モデルの s3 ストレージディレクトリーの値 (例 s3://<bucket_name>/<model_directory_path>) が含まれている必要があります。
      • runtime には、ovms-runtime など、サービングランタイムの名前の値が含まれている必要があります。
   2. 適切なファイル名でファイルを保存します。

   3. InferenceService CR を含むファイルを適用します。

      $ oc apply -f <InferenceService CR file name> -n <namespace>

9. クラスター内のすべての Pod が実行されていることを確認します。

   $ oc get pods -n <namespace>

   出力例:

   NAME READY STATUS RESTARTS AGE
   <isvc_name>-predictor-xxxxx-2mr5l 1/1 Running 2 165m
   console-698d866b78-m87pm 1/1 Running 2 165m

10. すべての Pod が実行中であることを確認したら、サービスポートをローカルマシンに転送します。

    $ oc -n <namespace> port-forward pod/<pod-name> <local_port>:<remote_port>

    <namespace>、<pod-name>、<local_port>、<remote_port> (これは 8888 などのモデルサーバーのポート) を、デプロイメントに適した値に置き換えてください。