第 2 章 更新模型
Red Hat Enterprise Linux AI 允许您在本地将 LLM 下载到最新版本的模型。
model | 描述 | 引入了的版本 | NVIDIA | AMD | Intel |
---|---|---|---|---|---|
| 用于自定义和微调的 Granite 3.1 基本模型的版本 2 | 1.5.1 | default | default | 不可用 |
| 用于 inference 服务的 Granite 3.1 模型的版本 2 | 1.5.1 | default | default | 不可用 |
| 用于自定义和微调的 Granite 3.1 基本模型的版本 2 | 1.5 | 可用 | 可用 | default |
| 用于 inference 服务的 Granite 3.1 模型的版本 2 | 1.5.1 | 可用 | 可用 | default |
2.1. 更新模型
您可以使用 RHEL AI 工具集将本地模型升级到最新版本。
先决条件
- 已使用可引导容器镜像安装了 InstructLab 工具。
-
您初始化了 InstructLab,可以使用
ilab
CLI。 - 您在 Red Hat Enterprise Linux AI 上下载了 LLM。
- 您创建了红帽 registry 帐户并登录您的机器中。
流程
您可以运行以下命令来升级任何模型。
ilab model download --repository <repository_and_model> --release latest
$ ilab model download --repository <repository_and_model> --release latest
Copy to Clipboard Copied! 其中:
- <repository_and_model>
-
指定模型和模型的存储库位置。您可以从
registry.redhat.io/rhelai1/
仓库访问模型。 - <release>
-
指定模型的版本。为模型的最新版本,设置为
latest
或一个特定版本的模型。
验证
您可以使用以下命令查看系统中所有下载的模型:
ilab model list
$ ilab model list
Copy to Clipboard Copied!