第 2 章 Red Hat Enterprise Linux AI 产品架构


Red Hat Enterprise Linux AI 包含各种不同的功能,它由以下组件组成:

2.1. 使用 InstructLab 启动 Red Hat Enterprise Linux

您可以使用红帽提供的可引导 RHEL 容器镜像,安装 RHEL AI 并部署 InstructLab 工具。

此 RHEL AI 镜像包括 InstructLab、RHEL 9.4 以及各种推测和培训软件,包括 vLLM 和 DeepSpeed。引导此镜像后,您可以下载各种红帽和 IBM 开发的 Granite 模型来提供或培训。镜像及其所有工具都编译到特定的独立软件供应商(ISV)硬件。有关镜像架构的更多信息,请参阅安装 概述

2.1.1. InstructLab 模型对齐

Red Hat Enterprise Linux AI bootable 镜像包含 InstructLab 及其工具。InstructLab 使用 novel 方法对名为 LAB 的 LLM 微调(针对 ChatBots)进行 LLM 微调。LAB 方法使用基于纳税务数据生成(SDG)和多阶段培训的系统。

使用从 InstructLab CLI 构建的 RHEL AI 命令行界面(CLI),您可以通过针对您自己的域特定知识调整 Granite 基本模型来创建自己的自定义 LLM。

为了正式发布,RHEL AI LLMs 自定义工作流由以下步骤组成:

  1. 在首选平台上安装并初始化 RHEL AI。
  2. 使用 CLI 和 Git 工作流为税务树增加知识和知识。
  3. 使用 mixtral-8x7B-Instruct teacher 模型运行合成数据生成(SDG)。SDG 可以生成数百个或数千个复合问题,并根据用户提供的特定示例进行模型调整。
  4. 使用 InstructLab 使用新复合生成的数据为基础模型提供培训。prometheus-8x7B-V2.0 judge 模型评估新培训模型的性能。
  5. 将 InstructLab 与 vLLM 搭配使用,为推断提供新的自定义模型。

2.1.2. 开源许可 Granite 模型

使用 RHEL AI,您可以下载开源许可 IBM Granite 系列 LLMs。

使用初学者 Granite 模型作为基础,您可以使用知识或技能数据创建模型。您可以保持这些自定义 LLMs 私有,也可以与 AI 社区共享它们。

Red Hat Enterprise Linux AI 还允许您服务并聊天 Granite 模型,由红帽和 IBM 创建并调优。

Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

关于红帽文档

Legal Notice

Theme

© 2026 Red Hat
返回顶部