红帽全球峰会第 3 章 新功能及功能增强
本节介绍 Red Hat OpenShift AI 3.0 中的新功能和增强。
3.1. 新功能
- PyTorch v2.8.0 KFTO 培训镜像现已正式发布
现在，您可以在 OpenShift AI 中为分布式工作负载使用 PyTorch v2.8.0 培训镜像。
可用的新镜像如下：
-
ROCm-compatible KFTO 培训镜像:
quay.io/modh/ training:py312-rocm63-torch280与 ROCm 6.3 支持的 AMD 加速器兼容。 -
CUDA 兼容 KFTO 培训镜像:
quay.io/modh/ training:py312-cuda128-torch280与 CUDA 12.8 支持的 NVIDIA GPU 兼容。
-
ROCm-compatible KFTO 培训镜像:
- 硬件配置集
新的硬件配置集功能替换了之前的加速器配置集和旧 Container Size 选择器，用于工作台。
硬件配置文件提供了一种更灵活、一致的方式，为 AI 工作负载定义计算配置，简化了不同硬件类型的资源管理。
重要加速器配置集和旧的 Container Size 选择器现已弃用，并将在以后的发行版本中删除。
- 连接 API 现已正式发布
Connections API 现在作为 OpenShift AI 中的正式发行(GA)功能提供。
此 API 可让您直接在 OpenShift AI 中创建和管理到外部数据源和服务的连接。连接通过标准化注解存储为 Kubernetes Secret，允许集成组件之间的基于协议的验证和路由。
- IBM Power 和 IBM Z 架构支持
OpenShift AI 现在支持 IBM Power (ppc64le)和 IBM Z (s390x)架构。
这种扩展平台支持允许在 IBM 企业硬件上部署 AI 和机器学习工作负载，为异构环境提供更大的灵活性和可扩展性。
有关支持的软件平台、组件和依赖项的更多信息，请参阅知识库文章： 3.x 支持的配置。
- 对 TrustyAI 的 IBM Power 和 IBM Z 架构支持
TrustyAI 现在作为 IBM Power (ppc64le)和 IBM Z (s390x)架构的通用可用性(GA)功能提供。
TrustyAI 是一个开源负责 AI 工具包，它提供一组工具来支持负责和透明的 AI 工作流。它提供公平性和数据偏移指标、本地和全局模型解释、文本破坏、语言模型基准测试和语言模型保护等功能。
这些功能有助于确保 IBM Power 和 IBM Z 系统上的 OpenShift AI 环境中的 AI 系统具有透明性、责任和协作。
- IBM Power 和 IBM Z 架构支持 Model Registry
model Registry 现在可用于 IBM Power (ppc64le)和 IBM Z (s390x)架构。
Model Registry 是一个开源组件，可简化并标准化 AI 和机器学习(AI/ML)模型生命周期的管理。它为存储、版本控制和管理模型提供了一个集中平台，支持跨数据科学和 MLOps 团队无缝协作。
Model Registry 支持模型版本控制和线板跟踪、元数据管理和模型发现、模型批准和提升工作流、集成 CI/CD 和部署管道，以及管理、可审计以及 IBM Z 系统上的合规功能。
- IBM Power 和 IBM Z 架构支持 Notebooks
现在，IBM Power (ppc64le)和 IBM Z (s390x)架构提供了笔记本。
笔记本为 OpenShift AI 生态系统中的数据科学、机器学习、研究和编码提供容器化、基于浏览器的开发环境。这些环境可以通过 Workbenches 启动，并包含以下选项：
- Jupyter Minimal notebook: 用于基本 Python 开发和模型原型的轻量级 JupyterLab IDE。
- Jupyter Data Science notebook ：预先配置了用于端到端工作流的流行数据科学库和工具。
- Jupyter TrustyAI 笔记本 ：负责 AI 任务的环境，包括模型解释性、公平性、数据偏移检测和文本破坏。
- Code Server ：基于浏览器的 VS Code 环境，用于与熟悉的 IDE 功能进行协作开发。
- 运行时最小 和运行时数据科学 ：用于自动化工作流和一致性管道执行的无头环境。
- IBM Power 架构支持功能存储
现在，IBM Power (ppc64le)架构支持功能存储。
通过这个支持，用户可以直接在 IBM Power 的环境中部署、注册和管理机器学习模型的功能，并与 OpenShift AI 完全集成。
- IBM Power 架构支持 AI Pipelines
现在，IBM Power (ppc64le)架构支持 AI Pipelines。
此功能允许用户在 OpenShift AI 内原生定义、运行和监控 AI 管道，利用 IBM Power 系统的性能和可扩展性进行 AI 工作负载。
在 IBM Power 系统上执行的 AI Pipelines 使用 x86 部署维护功能奇偶校验。
- 支持 IBM Power 加速 Triton Inference Server
现在，您可以使用 FIL、PyTy、Python 和 ONNX 后端为 Triton inference 服务器（仅限 CPU）启用 Power 架构支持。您可以将 Triton inference 服务器部署为 Red Hat OpenShift AI 中的 IBM Power 架构上的自定义模型服务运行时。
- 支持 IBM Z 加速 Triton Inference Server
现在，您可以使用多个后端选项（包括 ONNX-MLIR、Snap ML (C++)和 PyTorch）启用对 Triton Inference Server (Telum I/Telum II)的 Z 架构支持。Triton Inference Server 可以部署为 IBM Z 架构上的自定义模型服务运行时，作为 Red Hat OpenShift AI 中的技术预览功能。
- IBM Spyre AI 加速器模型在 IBM Z 平台上支持
使用 IBM Spyre AI Accelerator 提供的模型现在作为 IBM Z 平台的通用可用性(GA)功能提供。
IBM Spyre Operator 会自动安装并集成关键组件，如设备插件、二级调度程序和监控。
如需更多信息，请参阅 IBM Spyre Operator 目录条目： IBM Spyre Operator - 红帽生态系统目录。
注意在 IBM Z 和 IBM LinuxONE 中，Red Hat OpenShift AI 支持在 IBM Spyre 上使用 vLLM 部署大型语言模型(LLM)。Triton Inference Server 只在 Telum (CPU)上被支持。
如需更多信息，请参阅以下文档：
- 模型自定义组件
OpenShift AI 3.0 引入了一组 模型自定义组件，简化了并增强准备、微调和部署 AI 模型的过程。
以下组件现在可用：
- Red Hat AI Python Index: 一个由红帽维护的 Python 软件包索引，它托管受支持的软件包构建对 AI 和机器学习笔记本很有用。使用 Red Hat AI Python Index 在连接的和断开连接的环境中确保可靠和安全访问这些软件包。
- 文档 ：一个强大的 Python 库，用于高级数据处理，它将无结构的文档（如 PDF 或镜像）转换为干净的、用于 AI 和 ML 工作负载的机器可读格式。
- synthetic Data Generation Hub (sdg-hub) ：用于生成高质量的合成数据的工具包，以增强数据集、改进模型稳健性和地址边缘情况。
- 培训 Hub ：一个框架，可简化并加快使用您自己的数据对基础模型进行微调和自定义。
- Kubeflow Trainer: 一个 Kubernetes 原生功能，支持分布式培训并微调模型，同时抽象底层基础架构的复杂性。
- AI Pipelines ：一个 Kubeflow-native 功能，用于在 AI 组件间构建可配置的工作流，包括此套件中的所有其他模型自定义模块。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}