使用 AI 模型

流程

1. 运行以下命令安装 MicroShift AI-model-serving RPM 软件包：

   $ sudo dnf install microshift-ai-model-serving

2. 作为 root 用户，输入以下命令重启 MicroShift 服务：

   $ sudo systemctl restart microshift

3. 可选：运行以下命令来安装发行版本信息软件包：

   $ sudo dnf install microshift-ai-model-serving-release-info 

   1

   1

   发行信息软件包包含一个 JSON 文件，其中包含镜像引用，有助于在 bootc 镜像构建过程中将 ServingRuntime 的副本部署到命名空间中。

流程

1. 使用兼容模型和模型服务器准备 Containerfile。

   带有与 OVMS 搭配使用的 ResNet-50 模型的 Containerfile 示例

   FROM registry.access.redhat.com/ubi9/ubi-minimal:latest
   RUN microdnf install -y wget && microdnf clean all
   RUN mkdir -p /models/1 && chmod -R 755 /models/1
   RUN wget -q -P /models/1 \
     https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin \
     https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml

2. 运行以下命令，将 IMAGE_REF 环境变量设置为简化您的过程：

   $ IMAGE_REF=<ovms-resnet50:test> 

   1

   1

   将 <ovms-resnet50:test > 替换为镜像引用的名称。在本例中，使用 &lt ;repo:tag& gt; 格式。您的镜像引用名称特定于您的用例。

3. 运行以下命令来构建 Containerfile：

   $ sudo podman build -t $IMAGE_REF 

   1

   1

   由于 CRI-O 和 Podman 共享存储，需要使用 sudo 使镜像成为根容器存储的一部分，并可供 MicroShift 使用。

   输出示例

   STEP 1/4: FROM registry.access.redhat.com/ubi9/ubi-minimal:latest
   Trying to pull registry.access.redhat.com/ubi9/ubi-minimal:latest...
   Getting image source signatures
   Checking if image destination supports signatures
   Copying blob 533b69cfd644 done   |
   Copying blob 863e9a7e2102 done   |
   Copying config 098048e6f9 done   |
   Writing manifest to image destination
   Storing signatures
   STEP 2/4: RUN microdnf install -y wget && microdnf clean all
   << SNIP >>
   --> 4c74352ad42e
   STEP 3/4: RUN mkdir -p /models/1 && chmod -R 755 /models/1
   --> bfd31acb1e81
   STEP 4/4: RUN wget -q -P /models/1   https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.bin   https://storage.openvinotoolkit.org/repositories/open_model_zoo/2022.1/models_bin/2/resnet50-binary-0001/FP32-INT1/resnet50-binary-0001.xml
   COMMIT ovms-resnet50:test
   --> 375b265c1c4b
   Successfully tagged localhost/ovms-resnet50:test
   375b265c1c4bc6f0a059c8739fb2b3a46e1b563728f6d9c51f26f29bb2c87

4. 可选：运行以下命令将 Containerfile 推送到 registry 中：

   $ sudo podman push $IMAGE_REF

   重要

   对于离线用例，请包括除 latest 以外的标签。如果使用 latest 标签，则获取和设置模型的容器将被配置为 imagePullPolicy: 参数，并且忽略本地镜像。如果您使用除 latest 之外的任何其他标签，则 imagePullPolicy: 参数将设置为 IfNotPresent。

流程

1. 运行以下命令，从 MicroShift 发行版本信息文件中提取要使用的 ServingRuntime CR 的镜像引用：

   $ OVMS_IMAGE="$(jq -r '.images | with_entries(select(.key == "ovms-image")) | .[]' /usr/share/microshift/release/release-ai-model-serving-"$(uname -i)".json)" 

   1

   1

   在本例中，提取 OVMS 模型运行时的镜像引用。

2. 运行以下命令复制原始 ServingRuntime YAML 文件：

   $ cp /usr/lib/microshift/manifests.d/050-microshift-ai-model-serving-runtimes/ovms-kserve.yaml ./ovms-kserve.yaml

3. 运行以下命令，将实际镜像引用添加到 ServingRuntime YAML 的 image: parameter 字段值：

   $ sed -i "s,image: ovms-image,image: ${OVMS_IMAGE}," ./ovms-kserve.yaml

4. 运行以下命令，使用 YAML 文件在自定义命名空间中创建 ServingRuntime 对象：

   $ oc create -n <ai_demo> -f ./ovms-kserve.yaml 

   1

   1

   将 <ai_demo > 替换为您的命名空间的名称。

流程

1. 创建 InferenceService CR。

   带有 openvino_ir 模型格式的 InferenceService 对象示例

   apiVersion: serving.kserve.io/v1beta1
   kind: InferenceService
   metadata:
     name: ovms-resnet50
   spec:
     predictor:
       model:
         protocolVersion: v2
         modelFormat:
           name: openvino_ir
         storageUri: "oci://localhost/ovms-resnet50:test"
         args:
         - --layout=NHWC:NCHW 

   1

   1

   一个额外的参数，使 OpenVINO Model Server (OVMS)接受与最初导出模型不同的布局中的请求输入数据。额外的参数传递给 OVMS 容器。

2. 将 InferenceService 示例保存到文件中，然后运行以下命令在集群中创建它：

   $ oc create -n <ai_demo> -f ./FILE.yaml 

   1

   1

   将 <ai_demo > 替换为您的命名空间名称。

   输出示例

   inferenceservice.serving.kserve.io/ovms-resnet50 created

   注意

   部署和 pod 应该出现在指定的命名空间中。根据 ServingRuntime CR 中指定的镜像大小以及 ModelCar OCI 镜像的大小，pod 可能需要几分钟才能就绪。

流程

1. 运行以下命令，检查 AI 模型是否在自定义命名空间中部署：

   $ oc get -n ai-demo deployment

   输出示例

   NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
   ovms-resnet50-predictor   1/1     1            1           72s

2. 运行以下命令确认您的部署正在进行：

   $ oc rollout status -n ai-demo deployment ovms-resnet50-predictor

   输出示例

   deployment "ovms-resnet50-predictor" successfully rolled out

3. 运行以下命令，检查 AI 模型工作负载 pod 是否在自定义命名空间中部署：

   $ oc get -n ai-demo pod

   输出示例

   NAME                                       READY   STATUS    RESTARTS      AGE
   ovms-resnet50-predictor-6fdb566b7f-bc9k5   2/2     Running   1 (72s ago)   74s

4. 运行以下命令，检查创建的服务 KServe：

   $ oc get svc -n ai-demo

   输出示例

   NAME                      TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
   ovms-resnet50-predictor   ClusterIP   None         <none>        80/TCP    119s