1.9. 验证模型运行时是否已就绪
通过检查下游生成活动是否已完成,验证您的模型运行时是否可供使用。
先决条件
-
已配置了
ServingRuntimesCR。 -
您创建了
InferenceServiceCR。 - 有对机器的 root 用户访问权限。
-
已安装 OpenShift CLI (
oc)。
流程
运行以下命令,检查 AI 模型是否在自定义命名空间中部署:
oc get -n ai-demo deployment
$ oc get -n ai-demo deploymentCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY UP-TO-DATE AVAILABLE AGE ovms-resnet50-predictor 1/1 1 1 72s
NAME READY UP-TO-DATE AVAILABLE AGE ovms-resnet50-predictor 1/1 1 1 72sCopy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令确认您的部署正在进行:
oc rollout status -n ai-demo deployment ovms-resnet50-predictor
$ oc rollout status -n ai-demo deployment ovms-resnet50-predictorCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
deployment "ovms-resnet50-predictor" successfully rolled out
deployment "ovms-resnet50-predictor" successfully rolled outCopy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,检查 AI 模型工作负载 pod 是否在自定义命名空间中部署:
oc get -n ai-demo pod
$ oc get -n ai-demo podCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY STATUS RESTARTS AGE ovms-resnet50-predictor-6fdb566b7f-bc9k5 2/2 Running 1 (72s ago) 74s
NAME READY STATUS RESTARTS AGE ovms-resnet50-predictor-6fdb566b7f-bc9k5 2/2 Running 1 (72s ago) 74sCopy to Clipboard Copied! Toggle word wrap Toggle overflow 运行以下命令,检查创建的服务 KServe:
oc get svc -n ai-demo
$ oc get svc -n ai-demoCopy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ovms-resnet50-predictor ClusterIP None <none> 80/TCP 119s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ovms-resnet50-predictor ClusterIP None <none> 80/TCP 119sCopy to Clipboard Copied! Toggle word wrap Toggle overflow
后续步骤
-
创建一个
Route对象,以便您的应用程序可以访问 MicroShift 节点。
其他资源
- InferenceService (Red Hat OpenShift AI 文档)