Red Hat AI 简介

Red Hat Enterprise Linux AI (RHEL AI)可让您直接自定义并贡献到大型语言模型(LLM)。RHEL AI 从 InstructLab 项目构建，它使用一个称为 LAB 的微调方法（针对 Chatbots ）的微调方法。LAB 方法使用复合数据生成(SDG)和多阶段培训框架来生成高质量的、精细调优的 LLM。

您可以将 RHEL AI 安装为可引导 Red Hat Enterprise Linux (RHEL)容器镜像。每个镜像都为特定的硬件加速器配置，包括 NVIDIA、AMD 和 Intel，包含各种 inference-serving 和微调工具。

您可以使用您自己的数据来创建 seed 文件，生成复合数据，并培训您可以与和部署交互的 Granite 初学者模型。

Red Hat OpenShift AI 是一个全面的 MLOps 平台，旨在简化跨混合云环境和边缘的智能和机器学习(AI/ML)开发和操作。它促进了数据科学家和开发人员之间的协作，同时确保 IT 部门能够高效构建、培训、微调和部署预测和基础 AI 模型。

OpenShift AI 在 Red Hat OpenShift 的稳定基础之上提供自我管理或云服务，为在跨公共云、内部和边缘环境中大规模部署 AI 的应用程序和 ML 模型提供可靠的平台。

通过利用广泛的技术生态系统，Red Hat OpenShift AI 加速了 AI/ML 创新，确保运营一致性、提高混合云灵活性并保持透明度、选择和责任 AI 实践。

红帽 AI Inference 服务器通过开源 vLLM 项目 上的企业级稳定性和安全性构建提供高级推测功能。

AI Inference 服务器使用持续批处理和十个并行性来提供减少的延迟和更高的吞吐量。持续批处理处理模型请求，因为它们到达，而不是等待全面批处理。Tensor parallelism 在多个 GPU 之间分发 LLM 工作负载。

要降低推断模型的成本，AI Inference 服务器使用页面关注。LLMs 使用一种称为注意的机制来理解与用户对话。通常，请注意，使用大量内存。通过为 LLM 置备内存，如虚拟内存可用于操作系统的方式，页面对此内存的注意。这个方法消耗较少的内存，这会降低成本。

Red Hat AI Inference Server 具有以下功能：