第 2 章 新功能及功能增强

AMD ROCm workbench 镜像添加了对 AMD 图形处理单元(GPU) Operator 的支持，显著提高了计算密集型活动的处理性能。此功能可让您访问支持 AI 工作负载和各种模型的驱动程序、开发工具和 API。另外，AMD ROCm workbench 镜像包含机器学习库，以支持 AI 框架，如 TensorFlow 和 PyTorch。该功能还提供镜像的访问，可用于探索使用 AMD GPU 的服务、培训或调优用例。

NVIDIA NIM 模型服务平台添加了对使用 OpenShift AI 中的 NVIDIA NIM inference 服务部署 NVIDIA 优化模型的支持。NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一组易用的微服务，设计用于跨云、数据中心和工作站安全、可靠的部署高性能 AI 模型。NVIDIA NIM 支持各种 AI 模型，包括开源社区和 NVIDIA AI Foundation 模型，确保无缝、可扩展的 AI 推断、内部或云中使用行业标准 API。

如需更多信息，请参阅关于 NVIDIA NIM 模型服务平台。

现在提供了对 Intel Gaudi 3 加速器的支持。支持 KServe 运行时的 vLLM ServingRuntimes 支持 KServe 运行时是一个高吞吐量和内存效率，以及支持 Intel Gaudi Accelerators 的服务运行时。

如需更多信息，请参阅 Intel Gaudi Accelerators。

新的编配器支持将安全、可扩展的语言模型评估部署为服务(LM-Eval-aaS)。利用开源工具，该服务将 lm-evaluation-harness 与 Unitxt 任务卡集成，以便使用行业标准和专有基准测试高效和安全模型评估。

LM-Eval-aaS 包括以下主要功能：

如需更多信息，请参阅 评估大型语言模型。

您可以使用 vLLM ServingRuntime for KServe runtime 部署为 Marlin 内核量化的模型。如果您的模型被量化为 Marlin，vLLM 会自动根据底层硬件使用 Marlin 内核。对于其他量化模型，您可以使用-- quantization=marlin 自定义参数。

有关支持的硬件的详情，请查看 vLLM 网站上的 Quantization Kernels 支持的硬件。

以前，Red Hat OpenShift AI 中包含的 code-server workbench 镜像现在作为技术预览提供。如需更多信息，请参阅 code-server 中的操作。

使用 code-server workbench 镜像，您可以使用各种扩展来自定义工作台环境，来添加新的语言、主题、调试器并连接到其他服务。您还可以通过语法高亮显示、自动缩进和括号匹配来提高数据科学效率。