第 3 章 技术预览功能
本节介绍了 Red Hat OpenShift AI 2.22 中的技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
- 新选项为项目中的所有管道禁用缓存
-
集群管理员现在可以为管道服务器中的所有数据科学管道禁用缓存。此全局设置可用于调试、开发或需要确定性重新执行的情况。要应用此设置,请在
DataSciencePipelinesApplication
(DSPA)自定义资源中将spec.apiServer.cacheEnabled
字段设置为false
。如需更多信息,请参阅 数据科学管道缓存概述。
- 使用 Kubernetes API 定义和管理管道
-
现在,您可以使用 Kubernetes API 定义和管理数据科学管道和管道版本,它将其作为自定义资源存储在集群中而不是内部数据库。此技术预览功能可让您更轻松地使用 OpenShift GitOps (Argo CD)或类似的工具来管理管道,同时仍然允许您通过 OpenShift AI 用户界面、API 和
kfp
SDK 来管理它们。要启用此功能,请在 DataSciencePipelinesApplication (DSPA)自定义资源中将 spec.apiServer.pipelineStore 字段设置为 kubernetes。如需更多信息 ,请参阅使用 Kubernetes API 定义管道。 - 使用 LAB-tuning 进行模型自定义
LAB-tuning 现在作为技术预览提供,使数据科学家能够运行端到端工作流以自定义大型语言模型(LLM)。LAB (用于 chatBots) 方法通过利用 taxonomy-guided syntic data generation (SDG)和多阶段培训方法提供更有效的传统微调替代方案。
数据科学家可以使用新的预配置的 InstructLab 管道直接从 OpenShift AI 仪表板运行 LAB-tuning 工作流,这简化了调优过程。有关启用和使用 LAB-tuning 的详细信息,请参阅启用 LAB-tuning 和 通过 LAB-tuning 自定义模型。
重要目前,断开连接的环境不支持 LAB-tuning 功能。
- Red Hat OpenShift AI Model Catalog
Red Hat OpenShift AI Model Catalog 现在作为技术预览提供。此功能从使用 Granite 系列模型连接用户开始,以及 LAB-tuning 中使用的教师和 judge 模型。
注意目前在断开连接的环境中不支持模型目录功能。
- 新功能存储组件
现在,您可以在 Red Hat OpenShift AI Operator 中安装和管理 Feature Store 作为可配置的组件。基于开源 Feast 项目,Feature Store 充当 ML 模型和数据之间的桥接,从而在 ML 生命周期之间实现一致且可扩展的功能管理。
这个技术预览版本引进了以下功能:
- 集中功能存储库,实现一致性功能重复使用
- Python SDK 和 CLI,用于编程和命令行交互,以定义、管理和检索 ML 模型的功能
- 功能定义和管理
- 支持各种数据源
- 通过功能材料化数据
- 对在线模型推测和离线模型培训的功能检索
- 基于角色的访问控制(RBAC)来保护敏感功能
- 可扩展性并与第三方数据和计算提供程序集成
- 可扩展性以满足企业 ML 的需求
- 可搜索功能目录
用于增强可观察性的数据线跟踪
详情请参阅 配置功能存储。
- IBM Power 和 IBM Z 架构支持
- IBM Power (ppc64le)和 IBM Z (s390x)架构现在作为技术预览功能支持。目前,您只能在这些架构中以标准模式部署模型。
- 支持 IBM Power 和 IBM Z 构架中的 vLLM
- vLLM 运行时模板可用于 IBM Power 和 IBM Z 架构作为技术预览。
- 使用节点选择器,启用将工作台部署到 Red Hat OpenShift AI Dashboard 中的特定 worker 节点
硬件配置集现在作为技术预览提供。硬件配置集功能允许用户为工作台或模型保留工作负载为目标特定的 worker 节点。它允许用户以特定加速器类型或仅 CPU 的节点为目标。
此功能替换了当前的加速器配置集功能和容器大小选择器字段,为针对不同的硬件配置提供更广泛的功能。虽然加速器配置集、污点和容限为硬件提供一些匹配工作负载的功能,但它们不能确保工作负载在特定节点上,特别是某些节点缺少适当的污点。
硬件配置集功能支持加速器和 CPU 配置以及节点选择器,以增强特定 worker 节点的目标功能。管理员可以在设置菜单中配置硬件配置文件。用户可以在适用的情况下使用 UI 为工作台、模型服务和 Data Science Pipelines 选择启用的配置集。
- Ray 集群和 PyTorchJob 创建的 Kueue local-queue 标签策略
集群管理员可以使用 Validating Admission Policy 功能,使用 Kue local-queue 标识符强制标记 Ray 集群和 PyTorchJob 资源。该标签可确保根据队列管理策略正确分类和路由工作负载,从而防止资源争用并提高操作效率。
强制 local-queue 标签策略时,只有在将 Ray 集群和 PyTorchJobs 配置为使用本地队列时,才会创建 Ray 集群和 PyTorchJob 资源,然后由 Kueue 管理。默认情况下,为所有项目强制执行 local-queue 标签策略,但可为某些或所有项目禁用。有关 local-queue 标签策略的更多信息,请参阅 强制使用本地队列。
注意对于之前没有使用本地队列管理其 Ray 集群和 PyTorchJob 资源的用户,这个功能可能会造成破坏的变化。
- RStudio Server workbench 镜像
使用 RStudio 服务器工作台镜像,您可以访问 RStudio IDE,这是 RStudio 的集成开发环境。R 编程语言用于统计计算和图形来支持数据分析和预测。
要使用 RStudio Server workbench 镜像,您必须首先通过创建 secret 并触发
BuildConfig
来构建它,然后通过编辑r Studio-rhel9
镜像流在 OpenShift AI UI 中启用它。如需更多信息,请参阅 构建 RStudio 服务器工作台镜像。重要免责声明: 红帽支持在 OpenShift AI 中管理工作台。但是,红帽不为 RStudio 软件提供支持。RStudio 服务器可以通过 r Studio.org 提供,并遵循其许可条款。在使用此示例工作台前,您应该查看其许可条款。
- CUDA - RStudio Server workbench 镜像
使用 CUDA - RStudio Server workbench 镜像,您可以访问 RStudio IDE 和 NVIDIA CUDA Toolkit。RStudio IDE 是用于统计计算和图形的 R 编程语言的集成开发环境。使用 NVIDIA CUDA 工具包,您可以使用 GPU 加速的库和优化工具来增强您的工作。
要使用 CUDA - RStudio Server workbench 镜像,您必须首先通过创建 secret 并触发
BuildConfig
来构建它,然后通过编辑r Studio-rhel9
镜像流在 OpenShift AI UI 中启用它。如需更多信息,请参阅 构建 RStudio 服务器工作台镜像。重要免责声明: 红帽支持在 OpenShift AI 中管理工作台。但是,红帽不为 RStudio 软件提供支持。RStudio 服务器可以通过 r Studio.org 提供,并遵循其许可条款。在使用此示例工作台前,您应该查看其许可条款。
CUDA - RStudio Server workbench 镜像包含 NVIDIA CUDA 技术。CUDA Toolkit 文档中提供了 CUDA 许可信息。在使用此示例工作台前,您应该查看其许可条款。
- Model Registry
- OpenShift AI 现在支持 Model Registry Operator。默认情况下,Model Registry Operator 不会在技术预览模式下安装。模型 registry 是一个中央存储库,包含与机器学习模型相关的元数据,从最初到部署。
- 支持非常大型模型的多节点部署
- 当使用单模式服务运行时,在多个图形处理单元(GPU)节点上提供模型现在作为技术预览提供。在多个 GPU 节点间部署模型,以便在部署大型语言模型(LLM)时提高效率。如需更多信息,请参阅 在多个 GPU 节点间部署模型。