1.7. 创建用于 MicroShift 的 ServingRuntime CR


根据已安装的清单和发行信息创建 ServingRuntime 自定义资源(CR)。包括的步骤是重新使用包括的 microshift-ai-model-serving 清单文件的示例,以便在工作负载命名空间中重新创建 OpenVINO Model Server (OVMS)模型运行时。

注意

此方法不需要实时集群,因此它可能是 CI/CD 自动化的一部分。

先决条件

  • microshift-ai-model-servingmicroshift-ai-model-serving-release-info RPM 都已安装。
  • 有对机器的 root 用户访问权限。
  • 已安装 OpenShift CLI (oc)。

流程

  1. 运行以下命令,从 MicroShift 发行版本信息文件中提取要使用的 ServingRuntime CR 的镜像引用:

    $ OVMS_IMAGE="$(jq -r '.images | with_entries(select(.key == "ovms-image")) | .[]' /usr/share/microshift/release/release-ai-model-serving-"$(uname -i)".json)" 
    1
    Copy to Clipboard Toggle word wrap
    1
    在本例中,提取 OVMS 模型运行时的镜像引用。
  2. 运行以下命令复制原始 ServingRuntime YAML 文件:

    $ cp /usr/lib/microshift/manifests.d/050-microshift-ai-model-serving-runtimes/ovms-kserve.yaml ./ovms-kserve.yaml
    Copy to Clipboard Toggle word wrap
  3. 运行以下命令,将实际镜像引用添加到 ServingRuntime YAML 的 image: parameter 字段值:

    $ sed -i "s,image: ovms-image,image: ${OVMS_IMAGE}," ./ovms-kserve.yaml
    Copy to Clipboard Toggle word wrap
  4. 运行以下命令,使用 YAML 文件在自定义命名空间中创建 ServingRuntime 对象:

    $ oc create -n <ai_demo> -f ./ovms-kserve.yaml 
    1
    Copy to Clipboard Toggle word wrap
    1
    <ai_demo > 替换为您的命名空间的名称。
重要

如果 ServingRuntime CR 是新清单的一部分,请在 kustomization.yaml 文件中设置命名空间,例如:

Kustomize 清单命名空间值示例

apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: ai-demo
resources:
  - ovms-kserve.yaml
#...
Copy to Clipboard Toggle word wrap

后续步骤

  • 创建 InferenceService 对象。
  • 验证您的模型是否已准备好推断。
  • 查询模型。
  • 可选:检查模型指标。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat