1.2. 使用 Red Hat OpenShift AI Self-Managed with MicroShift 的工作流
将 Red Hat OpenShift AI Self-Managed 与 MicroShift 搭配使用需要以下常规工作流:
- 将您的 AI 模型就绪
- 选择最适合您的边缘应用程序的智能(AI)模型,以及在 MicroShift 部署站点上做出的决策。
- 在云或数据中心,开发、培训和测试您的模型。
- 计划系统要求,以及 AI 模型需要运行的额外资源。
- 设置部署环境
- 为部署运行的特定硬件配置 Red Hat Device Edge,包括驱动程序和设备插件。
- 要为 MicroShift 启用 GPU 或其他硬件加速器,请遵循与您的边缘设备相关的信息。例如,要使用 NVIDIA GPU 加速器,请先阅读以下 NVIDIA 文档: 在 Red Hat Device Edge 上运行 GPU 加速工作负载 (NVIDIA 文档)。
如需故障排除,请参阅设备文档或产品支持。
提示仅使用驱动程序和设备插件而不是 Operator 可能会提高资源效率。
- 安装 MicroShift Red Hat OpenShift AI Self-Managed RPM
-
安装
microshift-ai-model-servingRPM 软件包。 - 如果您要在 MicroShift 运行时添加 RPM,请重新启动 MicroShift。
-
安装
- 准备部署
- 将您的 AI 模型打包到 OCI 镜像中,否则称为 ModelCar 格式。如果您已经设置了 S3 兼容存储或持久性卷声明,您可以跳过这一步,但对 MicroShift 测试并支持 ModelCar 格式。
选择一个模型运行时,该运行时充当您的模型服务器。使用服务运行时和 inference 服务配置运行时。
-
将
ServingRuntime自定义资源(CR)从默认的redhat-ods-applications命名空间复制到您自己的命名空间中。 -
创建
InferenceServiceCR。
-
将
-
可选:创建一个
Route对象,以便您的模型可以在集群外连接。
- 使用您的模型
- 向模型服务器发出请求。例如,在附加到 camera 的 MicroShift 部署中运行的另一个 pod 可将镜像流传输回模型运行时。模型保留运行时将该镜像准备为模型推断的数据。如果该模式在一种情况的二进制识别中被培训,AI 模型会输出镜像数据的可能性。