3.11. KServe の raw デプロイメントモードを使用してシングルノードの OpenShift にモデルをデプロイする

手順

1. コマンドラインターミナルを開き、クラスター管理者として OpenShift クラスターにログインします。

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. デフォルトでは、OpenShift はネットワークトラフィック管理にサービスメッシュを使用します。KServe の raw デプロイメントモードではサービスメッシュは必要ないため、Red Hat OpenShift Service Mesh を無効にします。

   1. Red Hat OpenShift Service Mesh を無効にするには、次のコマンドを入力します。

      $ oc edit dsci -n redhat-ods-operator

      Copy to Clipboard Toggle word wrap

   2. YAML エディターで、serviceMesh コンポーネントの managementState の値を次のように Removed に変更します。

      spec:
        components:
          serviceMesh:
            managementState: Removed

      Copy to Clipboard Toggle word wrap
   3. 変更を保存します。

3. プロジェクトを作成します。

   $ oc new-project <project_name> --description="<description>" --display-name="<display_name>"

   Copy to Clipboard Toggle word wrap

   プロジェクトの作成に関する詳細は、プロジェクトの使用 を参照してください。

4. データサイエンスクラスターを作成します。

   1. Red Hat OpenShift Web コンソールの Administrator ビューで、Operators Installed Operators をクリックし、Red Hat OpenShift AI Operator をクリックします。
   2. Data Science Cluster タブをクリックします。
   3. Create DataScienceCluster ボタンをクリックします。
   4. Configure via フィールドで、YAML view ラジオボタンをクリックします。

   5. YAML エディターの spec.components セクションで、kserve コンポーネントを次のように設定します。

        kserve:
          defaultDeploymentMode: RawDeployment
          managementState: Managed
          serving:
            managementState: Removed
            name: knative-serving

      Copy to Clipboard Toggle word wrap
   6. Create をクリックします。

5. シークレットファイルを作成します。

   1. コマンドラインターミナルで、シークレットを格納する YAML ファイルを作成し、次の YAML コードを追加します。

      apiVersion: v1
      kind: Secret
      metadata:
        annotations:
          serving.kserve.io/s3-endpoint: <AWS_ENDPOINT>
          serving.kserve.io/s3-usehttps: "1"
          serving.kserve.io/s3-region: <AWS_REGION>
          serving.kserve.io/s3-useanoncredential: "false"
        name: <Secret-name>
      stringData:
        AWS_ACCESS_KEY_ID: "<AWS_ACCESS_KEY_ID>"
        AWS_SECRET_ACCESS_KEY: "<AWS_SECRET_ACCESS_KEY>"

      Copy to Clipboard Toggle word wrap
      重要

      切断されたデプロイメントで機械学習モデルをデプロイする場合は、metadata.annotations セクションに serving.kserve.io/s3-verifyssl: '0' を追加します。

   2. ファイルを secret.yaml というファイル名で保存します。

   3. secret.yaml ファイルを適用します。

      $ oc apply -f secret.yaml -n <namespace>

      Copy to Clipboard Toggle word wrap

6. サービスアカウントを作成します。

   1. サービスアカウントを格納する YAML ファイルを作成し、次の YAML コードを追加します。

      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: models-bucket-sa
      secrets:
      - name: s3creds

      Copy to Clipboard Toggle word wrap

      サービスアカウントの詳細は、サービスアカウントの理解と作成 を参照してください。

   2. ファイルを serviceAccount.yaml というファイル名で保存します。

   3. serviceAccount.yaml ファイルを適用します。

      $ oc apply -f serviceAccount.yaml -n <namespace>

      Copy to Clipboard Toggle word wrap

7. モデルの予測を提供するコンテナーイメージを定義するために、サービングランタイム用の YAML ファイルを作成します。以下は OpenVINO Model Server の使用例です。

   apiVersion: serving.kserve.io/v1alpha1
   kind: ServingRuntime
   metadata:
     name: ovms-runtime
   spec:
     annotations:
       prometheus.io/path: /metrics
       prometheus.io/port: "8888"
     containers:
       - args:
           - --model_name={{.Name}}
           - --port=8001
           - --rest_port=8888
           - --model_path=/mnt/models
           - --file_system_poll_wait_seconds=0
           - --grpc_bind_address=0.0.0.0
           - --rest_bind_address=0.0.0.0
           - --target_device=AUTO
           - --metrics_enable
         image: quay.io/modh/openvino_model_server@sha256:6c7795279f9075bebfcd9aecbb4a4ce4177eec41fb3f3e1f1079ce6309b7ae45
         name: kserve-container
         ports:
           - containerPort: 8888
             protocol: TCP
     multiModel: false
     protocolVersions:
       - v2
       - grpc-v2
     supportedModelFormats:
       - autoSelect: true
         name: openvino_ir
         version: opset13
       - name: onnx
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "1"
       - autoSelect: true
         name: tensorflow
         version: "2"
       - autoSelect: true
         name: paddle
         version: "2"
       - autoSelect: true
         name: pytorch
         version: "2"

   Copy to Clipboard Toggle word wrap
   1. 上記の OpenVINO Model Server の例を使用している場合は、YAML コード内のプレースホルダーに必要な正しい値を挿入していることを確認してください。
   2. 適切なファイル名でファイルを保存します。

   3. サービングランタイムを含むファイルを適用します。

      $ oc apply -f <serving run time file name> -n <namespace>

      Copy to Clipboard Toggle word wrap

8. InferenceService カスタムリソース (CR) を作成します。InferenceService CR を含むための YAML ファイルを作成します。以前使用した OpenVINO Model Server の例を使用する場合の対応する YAML コードは、次のとおりです。

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     annotations:
       serving.knative.openshift.io/enablePassthrough: "true"
       sidecar.istio.io/inject: "true"
       sidecar.istio.io/rewriteAppHTTPProbers: "true"
       serving.kserve.io/deploymentMode: RawDeployment
     name: <InferenceService-Name>
   spec:
     predictor:
       scaleMetric:
       minReplicas: 1
       scaleTarget:
       canaryTrafficPercent:
       serviceAccountName: <serviceAccountName>
       model:
         env: []
         volumeMounts: []
         modelFormat:
           name: onnx
         runtime: ovms-runtime
         storageUri: s3://<bucket_name>/<model_directory_path>
         resources:
           requests:
             memory: 5Gi
       volumes: []

   Copy to Clipboard Toggle word wrap

   1. YAML コードで、次の値が正しく設定されていることを確認します。

      • serving.kserve.io/deploymentMode には、RawDeployment の値が含まれている必要があります。
      • modelFormat には、onnx などのモデル形式の値が含まれている必要があります。
      • storageUri には、モデルの s3 ストレージディレクトリーの値 (例 s3://<bucket_name>/<model_directory_path>) が含まれている必要があります。
      • runtime には、ovms-runtime など、サービングランタイムの名前の値が含まれている必要があります。
   2. 適切なファイル名でファイルを保存します。

   3. InferenceService CR を含むファイルを適用します。

      $ oc apply -f <InferenceService CR file name> -n <namespace>

      Copy to Clipboard Toggle word wrap

9. クラスター内のすべての Pod が実行されていることを確認します。

   $ oc get pods -n <namespace>

   Copy to Clipboard Toggle word wrap

   出力例:

   NAME READY STATUS RESTARTS AGE
   <isvc_name>-predictor-xxxxx-2mr5l 1/1 Running 2 165m
   console-698d866b78-m87pm 1/1 Running 2 165m

   Copy to Clipboard Toggle word wrap

10. すべての Pod が実行中であることを確認したら、サービスポートをローカルマシンに転送します。

    $ oc -n <namespace> port-forward pod/<pod-name> <local_port>:<remote_port>

    Copy to Clipboard Toggle word wrap

    <namespace>、<pod-name>、<local_port>、<remote_port> (これは 8888 などのモデルサーバーのポート) を、デプロイメントに適した値に置き換えてください。