第 3 章下载大型语言模型

Red Hat Enterprise Linux AI 允许您使用由红帽和 IBM 提供的和构建的各种 Large Language Models (LLM)自定义或聊天。您可以从 Red Hat RHEL AI registry 下载这些模型。您可以将任何自定义模型上传到 S3 存储桶。

Expand

表 3.1. Red Hat Enterprise Linux AI 版本 1.5 LLMs
大型语言模型(LLM)	类型	Size	用途	模型系列	NVIDIA 加速器支持	AMD 加速器支持	Intel 加速器支持
`granite-3.1-8b-starter-v2.1`	LAB 调优的 granite 初学者模型	16.0 GB	默认 Granite 3.1 基本模型的版本 2，用于自定义和微调	Granite 3.1	正式发布	正式发布	不可用
`granite-3.1-8b-lab-v2.1`	LAB 调优的 granite 模型	16.0 GB	用于 inference 服务的默认 Granite 3.1 模型的版本 2	Granite 3.1	正式发布	正式发布	不可用
`granite-3.1-8b-starter-v2`	LAB 调优的 granite 初学者模型	16.0 GB	默认 Granite 3.1 基本模型的版本 2，用于自定义和微调	Granite 3.1	不可用	不可用	技术预览
`granite-3.1-8b-lab-v2`	LAB 调优的 granite 模型	16.0 GB	用于 inference 服务的默认 Granite 3.1 模型的版本 2	Granite 3.1	不可用	不可用	技术预览
`granite-8b-code-instruct`	LAB 调优的 granite 代码模型	15.0 GB	LAB 调优的 granite 代码模型用于 inference 服务	Granite Code 模型	技术预览	技术预览	技术预览
`granite-8b-code-base`	Granite 调优的代码模型	15.0 GB	Granite 代码模型用于 inference 服务	Granite Code 模型	技术预览	技术预览	技术预览
`mixtral-8x7b-instruct-v0-1`	默认指导模型	87.0 GB	用于运行 Synthetic 数据生成(SDG)的默认指导模型。	Mixtral	正式发布	正式发布	技术预览
`llama-3.3-70b-Instruct`	可选指导模型	74.0 GB	用于运行 Synthetic 数据生成(SDG)的可选指导模型。	llama	技术预览	不可用	不可用
`prometheus-8x7b-v2-0`	评估判断模型	87.0 GB	judge 模式用于多阶段培训和认证	Prometheus 2	正式发布	正式发布	技术预览

重要

使用 granite-8b-code-instruct 或 granite-8b-code-base Large Language 模型(LLM)只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。

有关红帽技术预览功能支持范围的更多信息，请参阅技术预览功能支持范围。

自定义 Granite LLM 所需的模型

granite-7b-starter 或 granite-8b-starter-v1 基本 LLM，具体取决于您的硬件供应商。
SDG 的 mixtral-8x7b-instruct-v0-1 教授器模型。
prometheus-8x7b-v2-0 judge 模型用于培训和认证。

自定义 LLM 所需的其他工具

Low-rank adaptation (LoRA)适应者提高了 Synthetic Data Generation (SDG)流程的效率。

SDG 的 skills-adapter-v3 LoRA 分层技能适配器。

SDG 的 knowledge-adapter-v3 LoRA 分层知识适配器。

下载适应器的命令示例

$ ilab model download --repository docker://registry.redhat.io/rhelai1/knowledge-adapter-v3 --release latest

重要

LoRA 分层适配器不会显示在 ilab model list 命令的输出中。您可以在 ls ~/.cache/instructlab/models 文件夹中看到 skills-adapter-v3 和 knowledge-adapter-v3 文件。

3.1. 从红帽软件仓库下载模型
复制链接

您可以下载由红帽和 IBM 创建的其他可选模型。

先决条件

已使用可引导容器镜像安装了 RHEL AI。
您初始化了 InstructLab。
您创建了红帽 registry 帐户并登录您的机器中。
在机器上具有 root 用户访问权限。

流程

要下载额外的 LLM 模型，请运行以下命令：
```
$ ilab model download --repository docker://<repository_and_model> --release <release>
```
其中：
<repository_and_model>
指定模型和模型的存储库位置。您可以从 registry.redhat.io/rhelai1/ 仓库访问模型。
<release>
指定模型的版本。对于 RHEL AI 版本 1.5 支持的模型，设置为 1.5。对于 最新版本的 模型，设置为 latest。
示例命令
```
$ ilab model download --repository docker://registry.redhat.io/rhelai1/granite-3.1-8b-starter-v1 --release latest
```

验证

您可以使用以下命令查看系统上所有下载的模型，包括培训后的新模型：

$ ilab model list

输出示例

+-----------------------------------+---------------------+---------+
| Model Name                        | Last Modified       | Size    |
+-----------------------------------+---------------------+---------+
| models/prometheus-8x7b-v2-0       | 2024-08-09 13:28:50 |  87.0 GB|
| models/mixtral-8x7b-instruct-v0-1 | 2024-08-09 13:28:24 |  87.0 GB|
| models/granite-3.1-8b-starter-v1  | 2024-08-09 14:28:40 |  16.6 GB|
| models/granite-3.1-8b-lab-v1      | 2024-08-09 14:40:35 |  16.6 GB|
+-----------------------------------+---------------------+---------+

您还可以通过运行以下命令来列出 ls ~/.cache/instructlab/models 文件夹中下载的模型：
```
$ ls ~/.cache/instructlab/models
```
输出示例
```
granite-3.1-8b-starter-v1
granite-3.1-8b-lab-v1
```

第 3 章下载大型语言模型

3.1. 从红帽软件仓库下载模型
复制链接

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

第 3 章 下载大型语言模型

3.1. 从红帽软件仓库下载模型复制链接链接已复制到粘贴板!

学习

尝试、购买和销售

社区

关于红帽文档

让开源更具包容性

關於紅帽

Theme

Red Hat legal and privacy links

Red Hat legal and privacy links

第 3 章下载大型语言模型

3.1. 从红帽软件仓库下载模型
复制链接