1.8. InferenceService カスタムリソースの作成

手順

1. InferenceService CR を作成します。

   openvino_ir モデル形式の InferenceService オブジェクトの例

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: ovms-resnet50
   spec:
     predictor:
       model:
         protocolVersion: v2
         modelFormat:
           name: openvino_ir
         storageUri: "oci://localhost/ovms-resnet50:test"
         args:
         - --layout=NHWC:NCHW 

   1

   1

   OpenVINO Model Server (OVMS) が、モデルが元々エクスポートされたレイアウトとは異なるレイアウトで、要求入力データを受け入れるようにするための追加の引数。追加の引数は OVMS コンテナーに渡されます。

2. InferenceService の例をファイルに保存してから、次のコマンドを実行してクラスター上に作成します。

   $ oc create -n <ai_demo> -f ./FILE.yaml 

   1

   1

   <ai_demo> は、namespace 名に置き換えます。

   出力例

   inferenceservice.serving.kserve.io/ovms-resnet50 created

   注記

   デプロイメントと Pod は、指定された namespace に表示されることが予想されます。ServingRuntime CR で指定されたイメージのサイズと ModelCar OCI イメージのサイズによっては、Pod の準備が完了するまでに数分かかる場合があります。