3.2. 功能增强


对 Llama Stack 中的远程向量数据库进行混合搜索支持

现在,您可以在 OpenShift AI 中的 Llama Stack 中对远程向量数据库启用混合搜索。

此功能增强使企业能够利用现有的受管向量数据库基础架构,同时在不同数据库类型中保持高检索性能和灵活性。

IBM Spyre 支持带有 Caikit-TGIS 适配器的 IBM Z

现在,您可以使用带有 Caikit-TGIS gRPC 适配器的 KServe 在 IBM Z (s390x 架构)上使用 vLLM Spyre s390x ServingRuntimes 为 IBM Spyre AI Accelerators 提供模型。

此集成支持 OpenShift AI 中的 IBM Z 系统上的 generative AI 工作负载提供高性能模型服务和推测。

Data Science Pipelines 重命名为 AI Pipelines

OpenShift AI 现在使用术语 "AI Pipelines" 而不是 "Data Science Pipelines" 来更好地反映平台支持的 AI 和 generative AI 用例的范围。

在默认的 DataScienceCluster (default-dsc)中,datasciencepipelines 组件已被重命名为 aipipelines,以匹配此术语更新。

这仅仅是命名更改。AI 管道功能保持不变。

带有模型验证数据的模型目录增强

OpenShift AI Model Catalog 中的 Model Details 页面现在包含全面的模型验证数据,如性能基准、硬件兼容性和其他关键指标。

此功能增强提供了一个统一和详细的视图,与 Jounce UI 模型详情布局一致,允许用户通过单一接口更有效地评估模型。

使用搜索和过滤模型目录性能数据

Model Catalog 现在包含红帽验证的第三方模型的详细性能和验证数据,如基准和硬件兼容性指标。

增强的搜索和过滤功能(如按延迟或硬件配置集过滤)可帮助用户快速识别针对其特定用例和可用资源优化的模型,在 Red Hat AI Hub 中提供统一发现体验。

与 llm-d 的分布式干扰现已正式发布(GA)

使用 llm-d 的分布式干扰支持多模式服务、智能推测调度和反aggregate服务,以提高 generative AI 模型的 GPU 利用率。

注意

以下功能不被支持:

  • widement-Parallelism 多节点:开发者预览.
  • Blackwell B200: Not available on Blackwell B200:
  • GB200 上的多节点:不支持。
  • 在此发行版本中在 UI 中不支持网关发现和关联。用户必须通过 API 或 CLI 将模型与网关关联。
用于分布式推测的用户界面,使用 llm-d 部署配置

OpenShift AI 现在包含一个用户界面(UI),用于配置在 llm-d Serving Runtime 上运行的大型语言模型(LLM)部署。

这个简化的界面简化了常见的部署场景,方法是为部署提供基本配置选项,同时仍允许为部署明确选择 llm- runtime。

新的 UI 降低了设置复杂性,并帮助用户更有效地部署分布式推测工作负载。

新的导航系统

OpenShift AI 3.0 引入了重新设计的简化导航系统,可提高可用性和工作流效率。

新的布局允许用户在功能间无缝移动,简化了对关键功能的访问,并支持更顺畅的端到端体验。

增强 AI Pipelines 的身份验证

作为平台范围内的身份验证转换的一部分,OpenShift AI 3.0 将 oauth-proxy 替换为 AI Pipelines 的 kube-rbac-proxy

这个版本提高了安全性和兼容性,特别是在没有内部 OAuth 服务器的情况下的环境,如 Red Hat OpenShift Service on AWS。

当迁移到 kube-rbac-proxy 时,SubjectAccessReview (SAR)要求和 RBAC 权限会相应地更改。依赖内置 ds-pipeline-user-access-<dspa-name&gt; 角色的用户自动更新,而其他角色必须确保其角色包含对 datasciencepipelinesapplications/api 子资源的访问,其中包含以下动词: createupdatepatchdeletegetlistwatch

Observability 和 Grafana 集成,用于与 llm-d 的分布式干扰

在 OpenShift AI 3.0 中,平台管理员可以将可观察性组件连接到分布式 llm 部署,并与自托管 Grafana 实例集成以监控对工作负载。

通过此功能,团队可通过 llm-d 收集和视觉化 Prometheus 指标,以进行性能分析和自定义仪表板创建。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat