1.8. 创建 InferenceService 自定义资源

流程

1. 创建 InferenceService CR。

   带有 openvino_ir 模型格式的 InferenceService 对象示例

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: ovms-resnet50
   spec:
     predictor:
       model:
         protocolVersion: v2
         modelFormat:
           name: openvino_ir
         storageUri: "oci://localhost/ovms-resnet50:test"
         args:
         - --layout=NHWC:NCHW 

   1

   1

   一个额外的参数，使 OpenVINO Model Server (OVMS)接受与最初导出模型不同的布局中的请求输入数据。额外的参数传递给 OVMS 容器。

2. 将 InferenceService 示例保存到文件中，然后运行以下命令在集群中创建它：

   $ oc create -n <ai_demo> -f ./FILE.yaml 

   1

   1

   将 <ai_demo > 替换为您的命名空间名称。

   输出示例

   inferenceservice.serving.kserve.io/ovms-resnet50 created

   注意

   部署和 pod 应该出现在指定的命名空间中。根据 ServingRuntime CR 中指定的镜像大小以及 ModelCar OCI 镜像的大小，pod 可能需要几分钟才能就绪。