第 3 章 技术预览功能
本节介绍了 Red Hat OpenShift AI 2.19 中的技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
- IBM Power 和 IBM Z 架构支持
- IBM Power (ppc64le)和 IBM Z (s390x)架构现在作为技术预览功能支持。目前,您只能在这些架构中以标准模式部署模型。
在 IBM Power 和 IBM Z 架构 vLLM 运行时模板中支持 vLLM,可用于 IBM Power 和 IBM Z 架构作为技术预览。
- 使用节点选择器,启用将工作台部署到 Red Hat OpenShift AI Dashboard 中的特定 worker 节点。
硬件配置集现在作为技术预览提供。硬件配置集功能允许用户为工作台或模型保留工作负载为目标特定的 worker 节点。它允许用户以特定加速器类型或仅 CPU 的节点为目标。
此功能替换了当前的加速器配置集功能和容器大小选择器字段,为针对不同的硬件配置提供更广泛的功能。虽然加速器配置集、污点和容限为硬件提供一些匹配工作负载的功能,但它们不能确保工作负载在特定节点上,特别是某些节点缺少适当的污点。
硬件配置集功能支持加速器和 CPU 配置以及节点选择器,以增强特定 worker 节点的目标功能。管理员可以在设置菜单中配置硬件配置文件。用户可以在适用的情况下使用 UI 为工作台、模型服务和 Data Science Pipelines 选择启用的配置集。
- 分布式非实验室培训
InstructLab 是一个开源项目,用于增强大型语言模型(LLM),以定性智能(gen AI)应用程序来增强大型语言模型(LLM)。它利用复合数据生成(SDG)技术和结构化税务创建各种高质量培训数据集来微调模型。
InstructLab 管道现在作为技术预览提供,您可以通过 OpenShift AI 中的数据科学管道运行完整的 InstructLab 工作流。有关运行此管道的先决条件和设置说明,请参阅 Red Hat OpenShift AI 上的 InstructLab。
重要已安装 NVIDIA GPU Operator 24.6,才能在 OpenShift AI 2.19 中使用 InstructLab 管道。
- 为 Ray 集群创建强制本地队列标记策略
集群管理员可以使用 Validating Admission Policy 功能,使用 Kue local-queue 标识符强制标记 Ray 集群资源。该标签可确保根据队列管理策略正确分类和路由工作负载,从而防止资源争用并提高操作效率。
当强制 local-queue 标签策略时,只有在集群被配置为使用本地队列时,才会创建 Ray 集群,然后由 Kueue 管理 Ray 集群资源。默认情况下,为所有项目强制执行 local-queue 标签策略,但可为某些或所有项目禁用。有关 local-queue 标签策略的更多信息,请参阅 强制使用本地队列。
注意对于之前没有使用本地队列管理其 Ray 集群资源的用户,这个功能可能会造成破坏的变化。
- RStudio 服务器笔记本镜像
使用 RStudio 服务器笔记本电脑图像,您可以访问 RStudio IDE,这是 RStudio 的集成开发环境。R 编程语言用于统计计算和图形来支持数据分析和预测。
要使用 RStudio 服务器笔记本镜像,您必须首先通过创建 secret 并触发
BuildConfig
来构建它,然后通过编辑r Studio-rhel9
镜像流在 OpenShift AI UI 中启用它。如需更多信息,请参阅 构建 RStudio 服务器工作台镜像。重要免责声明: 红帽支持在 OpenShift AI 中管理工作台。但是,红帽不为 RStudio 软件提供支持。RStudio 服务器可以通过 r Studio.org 提供,并遵循其许可条款。在使用此示例工作台前,您应该查看其许可条款。
- CUDA - RStudio Server notebook image
使用 CUDA - RStudio 服务器笔记本镜像,您可以访问 RStudio IDE 和 NVIDIA CUDA Toolkit。RStudio IDE 是用于统计计算和图形的 R 编程语言的集成开发环境。使用 NVIDIA CUDA 工具包,您可以使用 GPU 加速的库和优化工具来增强您的工作。
要使用 CUDA - RStudio Server notebook 镜像,您必须首先通过创建 secret 并触发
BuildConfig
来构建它,然后通过编辑r Studio-rhel9
镜像流在 OpenShift AI UI 中启用它。如需更多信息,请参阅 构建 RStudio 服务器工作台镜像。重要免责声明: 红帽支持在 OpenShift AI 中管理工作台。但是,红帽不为 RStudio 软件提供支持。RStudio 服务器可以通过 r Studio.org 提供,并遵循其许可条款。在使用此示例工作台前,您应该查看其许可条款。
CUDA - RStudio Server notebook 镜像包含 NVIDIA CUDA 技术。CUDA Toolkit 文档中提供了 CUDA 许可信息。在使用此示例工作台前,您应该查看其许可条款。
- Model Registry
- OpenShift AI 现在支持 Model Registry Operator。默认情况下,Model Registry Operator 不会在技术预览模式下安装。模型 registry 是一个中央存储库,包含与机器学习模型相关的元数据,从最初到部署。
- 支持非常大型模型的多节点部署
- 当使用单模式服务运行时,在多个图形处理单元(GPU)节点上提供模型现在作为技术预览提供。在多个 GPU 节点间部署模型,以便在部署大型语言模型(LLM)时提高效率。如需更多信息,请参阅 在多个 GPU 节点间部署模型。
- guardrails Orchestrator Service 配置
可选的 Guardrails Orchestrator 配置现在作为技术预览提供:
- 正则表达式检测器(内置检测器)
-
guardrails 网关(通过自定义资源的
vllmGateway
字段)