3.2. 功能增强
- 对 Llama Stack 中的远程向量数据库进行混合搜索支持
现在,您可以在 OpenShift AI 中的 Llama Stack 中对远程向量数据库启用混合搜索。
此功能增强使企业能够利用现有的受管向量数据库基础架构,同时在不同数据库类型中保持高检索性能和灵活性。
- IBM Spyre 支持带有 Caikit-TGIS 适配器的 IBM Z
现在,您可以使用带有 Caikit-TGIS gRPC 适配器的 KServe 在 IBM Z (s390x 架构)上使用 vLLM Spyre s390x ServingRuntimes 为 IBM Spyre AI Accelerators 提供模型。
此集成支持 OpenShift AI 中的 IBM Z 系统上的 generative AI 工作负载提供高性能模型服务和推测。
- Data Science Pipelines 重命名为 AI Pipelines
OpenShift AI 现在使用术语 "AI Pipelines" 而不是 "Data Science Pipelines" 来更好地反映平台支持的 AI 和 generative AI 用例的范围。
在默认的
DataScienceCluster(default-dsc)中,datasciencepipelines组件已被重命名为aipipelines,以匹配此术语更新。这仅仅是命名更改。AI 管道功能保持不变。
- 带有模型验证数据的模型目录增强
OpenShift AI Model Catalog 中的 Model Details 页面现在包含全面的模型验证数据,如性能基准、硬件兼容性和其他关键指标。
此功能增强提供了一个统一和详细的视图,与 Jounce UI 模型详情布局一致,允许用户通过单一接口更有效地评估模型。
- 使用搜索和过滤模型目录性能数据
Model Catalog 现在包含红帽验证的第三方模型的详细性能和验证数据,如基准和硬件兼容性指标。
增强的搜索和过滤功能(如按延迟或硬件配置集过滤)可帮助用户快速识别针对其特定用例和可用资源优化的模型,在 Red Hat AI Hub 中提供统一发现体验。
- 与 llm-d 的分布式干扰现已正式发布(GA)
使用 llm-d 的分布式干扰支持多模式服务、智能推测调度和反aggregate服务,以提高 generative AI 模型的 GPU 利用率。
注意以下功能不被支持:
- widement-Parallelism 多节点:开发者预览.
- Blackwell B200: Not available on Blackwell B200:
- GB200 上的多节点:不支持。
- 在此发行版本中在 UI 中不支持网关发现和关联。用户必须通过 API 或 CLI 将模型与网关关联。
- 用于分布式推测的用户界面,使用 llm-d 部署配置
OpenShift AI 现在包含一个用户界面(UI),用于配置在
llm-dServing Runtime 上运行的大型语言模型(LLM)部署。这个简化的界面简化了常见的部署场景,方法是为部署提供基本配置选项,同时仍允许为部署明确选择
llm-runtime。新的 UI 降低了设置复杂性,并帮助用户更有效地部署分布式推测工作负载。
- 新的导航系统
OpenShift AI 3.0 引入了重新设计的简化导航系统,可提高可用性和工作流效率。
新的布局允许用户在功能间无缝移动,简化了对关键功能的访问,并支持更顺畅的端到端体验。
- 增强 AI Pipelines 的身份验证
作为平台范围内的身份验证转换的一部分,OpenShift AI 3.0 将 oauth-proxy 替换为 AI Pipelines 的 kube-rbac-proxy。
这个版本提高了安全性和兼容性,特别是在没有内部 OAuth 服务器的情况下的环境,如 Red Hat OpenShift Service on AWS。
当迁移到 kube-rbac-proxy 时,SubjectAccessReview (SAR)要求和 RBAC 权限会相应地更改。依赖内置
ds-pipeline-user-access-<dspa-name> 角色的用户自动更新,而其他角色必须确保其角色包含对datasciencepipelinesapplications/api子资源的访问,其中包含以下动词:create、update、patch、delete、get、list和watch。
- Observability 和 Grafana 集成,用于与 llm-d 的分布式干扰
在 OpenShift AI 3.0 中,平台管理员可以将可观察性组件连接到分布式 llm 部署,并与自托管 Grafana 实例集成以监控对工作负载。
通过此功能,团队可通过 llm-d 收集和视觉化 Prometheus 指标,以进行性能分析和自定义仪表板创建。