1.2. 功能和增强功能

现在，您可以在 RHEL AI 版本 1.5 上使用 NVIDIA H200 加速器来推测服务并运行完整的端到端工作流。在初始化 RHEL AI 环境时，请选择与机器中加速器数匹配的 H200 配置集。有关 RHEL AI 支持的硬件的更多信息，请参阅 Red Hat Enterprise Linux AI 硬件要求。

现在，您可以在 RHEL AI 版本 1.5 上使用 NVIDIA H200 加速器作为技术预览。RHEL AI 默认不包含 Grace Hopper 加速器的系统配置文件。要使用 GH200 加速器，请使用 h200_x1 配置集初始化 RHEL AI 环境，并将 max_startup_attempts: 1200 参数添加到 config.yaml 文件中。

ilab config edit

$ ilab config edit

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

serve:
vllm:
    gpus: 1
    llm_family: ''
    max_startup_attempts: 1200
    vllm_args: ["--tensor-parallel-size", "1"]

AMD MI300X 加速器现在可用于推测服务并运行完整的端到端工作流。有关 RHEL AI 支持的硬件的更多信息，请参阅 Red Hat Enterprise Linux AI 硬件要求。

您可以通过运行 ilab config init 命令初始化和设置 RHEL AI 环境。这个命令创建与 RHEL AI 和微调模型交互所需的配置。它还为您的数据文件创建正确的目录。有关初始化 InstructLab 的更多信息，请参阅 Initialize InstructLab 文档。

您可以将红帽提供的各种大型语言模型(LLM)下载到 RHEL AI 机器或实例。您可以在创建并登录到红帽 registry 帐户后，从红帽注册中心下载这些模型。有关支持的 RHEL AI LLMs 的更多信息，请参阅 下载模型文档和 "大语言模型(LLMs)技术预览状态"。

Red Hat Enterprise Linux AI 版本 1.5 允许您在各种 LLM 上运行 vLLM inference 服务器。vLLM 工具是 RHEL AI 镜像中包含的 LLM 的内存效率推测和服务引擎库。有关使用模型提供服务和聊天的更多信息，请参阅 使用 模型文档 的 Serving 和聊天。

Red Hat Enterprise Linux AI 包括同分析数据生成(SDG)的 LAB 增强方法。您可以将 qna.yaml 文件与自己的知识数据一起使用，在 SDG 进程中创建数百个人工数据集。有关运行 SDG 进程的更多信息，请参阅使用 Synthetic data generation (SDG)生成新数据集。

Red Hat Enterprise Linux AI 包括多阶段培训的 LAB 增强方法：一个微调策略，其中在多个阶段被接受并评估，以创建最佳模型。有关多阶段培训的详情，请参阅 培训模型上的数据。

Red Hat Enterprise Linux AI 包括对新受培训模型运行基准评估的能力。在受培训的模式中，您可以评估模型知道通过 MMLU_BRANCH 或 MT_BENCH_BRANCH 基准添加的知识或技能的程度。有关基准评估的详情，请参阅 评估您的新模型。

现在，您可以使用 Ansible Automation Platform hub 在 playbook 中运行 RHEL AI 工作负载。这包括两个 Ansible 集合：

如果您是现有的 Ansible Automation Platform 客户，则这些集合会包含在您当前的订阅中。