1.9. 验证模型运行时是否已就绪
通过检查下游生成活动是否已完成,验证您的模型运行时是否可供使用。
先决条件
-
已配置了
ServingRuntimes
CR。 -
您创建了
InferenceService
CR。 - 有对机器的 root 用户访问权限。
-
已安装 OpenShift CLI (
oc
)。
流程
运行以下命令,检查 AI 模型是否在自定义命名空间中部署:
oc get -n ai-demo deployment
$ oc get -n ai-demo deployment
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY UP-TO-DATE AVAILABLE AGE ovms-resnet50-predictor 1/1 1 1 72s
NAME READY UP-TO-DATE AVAILABLE AGE ovms-resnet50-predictor 1/1 1 1 72s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令确认您的部署正在进行:
oc rollout status -n ai-demo deployment ovms-resnet50-predictor
$ oc rollout status -n ai-demo deployment ovms-resnet50-predictor
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
deployment "ovms-resnet50-predictor" successfully rolled out
deployment "ovms-resnet50-predictor" successfully rolled out
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,检查 AI 模型工作负载 pod 是否在自定义命名空间中部署:
oc get -n ai-demo pod
$ oc get -n ai-demo pod
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY STATUS RESTARTS AGE ovms-resnet50-predictor-6fdb566b7f-bc9k5 2/2 Running 1 (72s ago) 74s
NAME READY STATUS RESTARTS AGE ovms-resnet50-predictor-6fdb566b7f-bc9k5 2/2 Running 1 (72s ago) 74s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,检查创建的服务 KServe:
oc get svc -n ai-demo
$ oc get svc -n ai-demo
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ovms-resnet50-predictor ClusterIP None <none> 80/TCP 119s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ovms-resnet50-predictor ClusterIP None <none> 80/TCP 119s
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
后续步骤
-
创建一个
Route
对象,以便应用程序可以访问 MicroShift 集群。
其他资源
- InferenceService (Red Hat OpenShift AI 文档)