红帽全球峰会第 1 章 Red Hat AI 简介
Red Hat AI 是一个产品和服务组合，可加快产品面市时间，并降低跨混合云环境提供智能(AI)解决方案的操作成本。它使组织能够使用与企业相关的数据有效调优小型、适合适用模型，并灵活地部署数据所驻留的模型。
Red Hat AI 允许组织大规模管理和监控预测和通用 AI (gen AI)模型的生命周期，从单服务器部署到高度分布式平台。该产品组合由开源技术支持，以及专注于不同基础架构上的性能、稳定性和 GPU 支持的合作伙伴生态系统。
通过 Red Hat AI，组织具有灵活性和一致性来部署和管理预测和 gen AI 模型，只要它对 AI 工作负载策略而言是最合理的。该产品组合提供了相应的功能和服务，以支持 AI 采用之旅的每个阶段，从初始单服务器部署到高度扩展的分布式平台架构。它还支持各种硬件加速器、原始设备制造商(OEM)和云提供商，以在各种基础架构中提供稳定、优化和高性能平台。
访问最新的创新由红帽 AI 生态系统补充，该生态系统提供经过测试、受支持且经认证的一系列合作伙伴产品和服务，以便使用我们的技术并帮助客户解决其业务和技术挑战。
Red Hat AI 包括：
Red Hat Enterprise Linux AI 一种允许您在开源大语言模型(LLM)上开发企业应用程序的平台。
Red Hat Enterprise Linux AI 可以帮助客户开始 AI 之旅，他们尚未定义他们的业务用例。AI 平台构建为开发、测试和运行 generative AI (gen AI)基础模型。
Red Hat OpenShift AI: 一个集成的 MLOps 平台，使组织能够在混合云和边缘环境中管理人工智能和机器学习(AI/ML)生命周期，帮助团队更快地将模型引入到生产环境。
Red Hat OpenShift AI 为准备扩展其 AI 应用程序的客户构建。此 AI 平台可帮助管理混合云环境中的预测和 gen AI 模型的生命周期。
1.1. Red Hat Enterprise Linux AI
Red Hat Enterprise Linux AI (RHEL AI)可让机构直接对大语言模型(LLM)进行定制并贡献。RHEL AI 从 InstructLab 项目构建，它使用 novel 方法微调名为 LAB （针对 Chatbots ）的微调。LAB 方法使用带有多阶段培训框架的复合数据生成(SDG)来生成高质量的调优 LLM。
您可以将 RHEL AI 安装为可引导 Red Hat Enterprise Linux (RHEL)容器镜像。每个镜像都为特定的硬件加速器配置，包括 NVIDIA、AMD 和 Intel，包含各种 inference-serving 和微调工具。
您可以使用您自己的数据来创建 seed 文件，生成复合数据，并培训可部署并与之交互的 Granite 初学者模型。
1.1.1. RHEL AI 的主要优势
1.1.1.1. 安装和部署
- 使用 RHEL 可引导容器化操作系统进行高效安装。RHEL AI 镜像包含各种开源微调工具，可让您有效地自定义红帽提供的 Granite 初学者模型。
- RHEL AI 提供在 Bare metal、AWS、Azure、IBM Cloud 和 GCP 上部署的镜像。
- 您可以从 AWS 和 Azure 市场购买 RHEL AI，并将其部署到启用了 GPU 的任何实例上。
- 您可以使用由红帽和 IBM 提供的各种模型在本地下载、部署和聊天。
1.1.1.2. 模型自定义
- 您可以使用 Synthetic Data Generation (SDG)进程，其中教导者使用人工生成的数据生成大量人工数据，然后可用于培训其他 LLM。
- 您可以使用多阶段培训（一个微调框架），在称为检查点的单独阶段培训一个模型，并在称为检查点的单独阶段进行评估。完全调优的模型是最终阶段最佳执行检查点。
- 您可以使用各种模型评估基准，包括 MMLU、MT_BENCH 和 DK_BENCH。
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}