红帽全球峰会第 1 章 红帽 AI 简介
红帽 AI 是一个产品和服务产品组合，可加速产品面市时间，并降低跨混合云环境提供智能(AI)解决方案的操作成本。使用红帽 AI，您可以使用与企业相关的数据有效调优小型适应性模型，并灵活地部署存储您的数据模型。
Red Hat AI 可帮助您大规模管理和监控预测和一般性 AI (gen AI)模型（从单服务器部署到高度分布式平台）的生命周期。该产品组合由开源技术支持，以及专注于不同基础架构上的性能、稳定性和 GPU 支持的合作伙伴生态系统。
使用红帽 AI，您可以部署和管理 AI 工作负载策略的预测和 gen AI 模型。该产品组合支持 AI 采用之旅的每个阶段，从初始单服务器部署到高度扩展的分布式平台架构。它还为多个硬件加速器、原始设备制造商(OEM)和云提供商提供支持，以在各种基础架构中提供稳定、优化和高性能平台。
访问最新的创新由红帽 AI 生态系统补充，它提供了经过测试、受支持且经认证的合作伙伴产品和服务，它们与红帽技术合作，并帮助您解决业务和技术挑战。
Red Hat AI 包括：
- Red Hat Enterprise Linux AI
针对大型语言模型(LLM)开发、测试和部署的基础模型平台，提供优化的推测功能。
如果您尚未定义您的业务用例，Red Hat Enterprise Linux AI 会在您的 AI 之初为您提供支持。AI 平台构建为开发、测试和运行 generative AI (gen AI)基础模型。
- Red Hat OpenShift AI
集成的 MLOps 平台，可帮助您在混合云和边缘环境中管理智能和机器学习(AI/ML)生命周期，从而帮助您更快地将模型从试验到生产环境。
如果您准备好扩展 AI 应用程序，则 Red Hat OpenShift AI 可以支持。此 AI 平台可帮助管理混合云环境中的预测和通用 AI 模型的生命周期。
- Red Hat AI Inference Server
- 使用 LLMs 优化服务和推断的容器镜像。使用 AI Inference Server，您可以以提高性能、降低成本的方式提供和推测模型。
1.1. 了解 Red Hat Enterprise Linux AI
Red Hat Enterprise Linux AI (RHEL AI)可让您直接自定义并贡献到大型语言模型(LLM)。RHEL AI 从 InstructLab 项目构建，它使用一个称为 LAB 的微调方法（针对 Chatbots ）的微调方法。LAB 方法使用复合数据生成(SDG)和多阶段培训框架来生成高质量的、精细调优的 LLM。
您可以将 RHEL AI 安装为可引导 Red Hat Enterprise Linux (RHEL)容器镜像。每个镜像都为特定的硬件加速器配置，包括 NVIDIA、AMD 和 Intel，包含各种 inference-serving 和微调工具。
您可以使用您自己的数据来创建 seed 文件，生成复合数据，并培训您可以与和部署交互的 Granite 初学者模型。
1.1.1. RHEL AI 的主要优势
1.1.1.1. 安装和部署
- RHEL AI 使用 RHEL 可引导的容器化操作系统安装。RHEL AI 镜像包含各种开源微调工具，以便您可以自定义红帽提供的 Granite 初学者模型。
- RHEL AI 提供在裸机、Amazon Web Services (AWS)、Azure、IBM Cloud 和 Google Cloud Platform (GCP)上部署的镜像。
- 您可以从 AWS 和 Azure 市场购买 RHEL AI，并将其部署到启用了 GPU 的任何实例上。
- 您可以使用由红帽和 IBM 提供的各种模型在本地下载、部署和聊天。
1.1.1.2. 模型自定义
- 您可以使用 Synthetic Data Generation (SDG)进程，其中教导者使用人工生成的数据来生成大量可用于培训其他 LLM 的人工数据。
- 您可以使用多阶段培训，这是一个微调框架，即在数据集上培训模型并在单独的阶段评估，称为检查点。培训的最终阶段提供最有效的、完全调优的模式。
-
您可以使用各种模型评估基准，包括
MMLU、MT_BENCH和DK_BENCH。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}