1.3. 安装 Red Hat OpenShift AI RPM
要在 MicroShift 部署中使用 AI 模型,请使用以下步骤安装带有新的 MicroShift 安装的 Red Hat OpenShift AI (Red Hat OpenShift AI Self-Managed) RPM。如果重启系统,您还可以在现有 MicroShift 实例上安装 RPM。
Red Hat OpenShift AI 只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
先决条件
- 满足安装 MicroShift 的系统要求。
- 有对机器的 root 用户访问权限。
-
已安装 OpenShift CLI (
oc
)。 - 已使用工作负载 PV 所需的容量配置了 LVM VG。
- 您有 AI 模型所需的 RAM 和磁盘空间。
- 您已配置了所需的加速器、硬件、操作系统和 MicroShift,以提供模型所需的资源。
- 您的 AI 模型可供使用。
microshift-ai-model-serving
RPM 包含用于部署 kserve
、启用原始部署模式以及 redhat-ods-applications
命名空间中的 ServingRuntimes
对象的清单。
流程
运行以下命令安装 MicroShift AI-model-serving RPM 软件包:
sudo dnf install microshift-ai-model-serving
$ sudo dnf install microshift-ai-model-serving
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 作为 root 用户,输入以下命令重启 MicroShift 服务:
sudo systemctl restart microshift
$ sudo systemctl restart microshift
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 可选:运行以下命令来安装发行版本信息软件包:
sudo dnf install microshift-ai-model-serving-release-info
$ sudo dnf install microshift-ai-model-serving-release-info
1 Copy to Clipboard Copied! Toggle word wrap Toggle overflow - 1
- 发行信息软件包包含一个 JSON 文件,其中包含镜像引用,有助于在 bootc 镜像构建过程中将
ServingRuntime
的副本部署到命名空间中。
验证
输入以下命令验证
kserve
pod 是否在redhat-ods-applications
命名空间中运行:oc get pods -n redhat-ods-applications
$ oc get pods -n redhat-ods-applications
Copy to Clipboard Copied! Toggle word wrap Toggle overflow 输出示例
NAME READY STATUS RESTARTS AGE kserve-controller-manager-7fc9fc688-kttmm 1/1 Running 0 1h
NAME READY STATUS RESTARTS AGE kserve-controller-manager-7fc9fc688-kttmm 1/1 Running 0 1h
Copy to Clipboard Copied! Toggle word wrap Toggle overflow
后续步骤
- 为您的 AI 模型创建一个命名空间。
- 将您的模型打包成 OCI 镜像。
- 配置模型运行时。
- 验证您的模型是否已准备好推断。
- 向模型服务器发出请求。