2.2. 功能增强

将 vLLM Gaudi 升级到 1.20 发行版本: vLLM 现在支持 Intel Gaudi Operator 版本 1.20。因此，用户可以利用 vLLM 运行时并有效地部署大型语言模型(LLM)。

这个版本没有改进。

自定义连接类型

管理员可以使用增强的连接功能来配置到数据库等数据源的自定义连接，从而方便用户访问模型开发的数据。另外，由于基于 URI 的存储库的内置连接类型，用户还可以从 Hugging Face for model 服务访问模型。

NVIDIA Triton Inference Server 版本 24.10 运行时：经过测试和验证的额外模型

NVIDIA Triton Inference Server 版本 24.10 运行时已使用 KServe (REST 和 gRPC)和 ModelMesh (REST)的以下模型进行了测试：

分布式工作负载：经过测试和验证的额外培训镜像

已测试并验证几个额外的培训镜像：

ROCm-compatible KFTO 集群镜像
新的 ROCm-compatible KFTO 集群镜像 quay.io/modh/ training:py311-rocm61-torch241 已经过测试和验证。此镜像与 ROCm 6.1 支持的 AMD 加速器兼容。
兼容 ROCm 集群镜像
ROCm-compatible Ray 集群镜像 quay.io/modh/ray:2.35.0-py39-rocm61 和 quay.io/modh/ray:2.35.0-py311-rocm61 已被测试和验证。这些镜像与 ROCm 6.1 支持的 AMD 加速器兼容。
CUDA 兼容 KFTO 镜像
以前作为开发者技术预览功能提供的 CUDA 兼容 KFTO 集群镜像会被测试并验证。该镜像现在位于新位置： quay.io/modh/ training:py311-cuda121-torch241。此镜像与 CUDA 12.1 支持的 NVIDIA GPU 兼容。

这些镜像是 AMD64 镜像，可能不适用于其他架构。有关 Red Hat OpenShift AI 中最新可用培训镜像的更多信息，请参阅 Red Hat OpenShift AI 支持的配置。

改进了 Red Hat OpenShift AI Operator 的搜索术语

在 OpenShift 控制台的 Administrator 视角中，在 Operators > OperatorHub 页面中，可以通过在 Filter by keyword 搜索字段中输入以下任一术语来找到 Red Hat OpenShift AI Operator：