3.2. 从注册模型启动 LAB-tuning 运行
注册基础模型后,您可以启动 LAB-tuning run 来创建自定义大型语言模型(LLM)。在配置运行时,您将提供以下详情:
- 用于您的税务的 Git 存储库 URL。
- 部署教授和判断模型的 URL 以及访问它们所需的凭证。
- 用于数据生成、培训和评估的硬件配置文件。
- 应用到调优流程的任何超参数。
- 存储 LAB 调优模型以及访问存储位置所需的凭据的位置。
先决条件
- 您已登录到 OpenShift AI。
- 您的集群管理员已在集群中配置了 LAB-tuning,如 Enabling LAB-tuning 所述。
- 您可以访问部署中的可用模型 registry。
- 您已创建了税务,为 LAB-tuned 模型准备了 OCI 存储位置,创建了数据科学项目,并部署了教员和判断模型,如 Preparing LAB-tuning resources 所述。
-
您已注册了一个基础模型,并带有模型目录中的
LAB 初学者
标签,如 注册基本模型 中所述。
流程
在 OpenShift AI 仪表板中点 Models
Model registry。 此时会打开 Model registry 页面。
点您注册的模型的名称。
此时会打开注册模型的详情页面。
在模型详情页面的 Versions 选项卡中,单击您要 LAB-tune 的版本的名称。
版本的详细信息页面将打开。
- 检查版本详情。
单击 LAB-tune。
此时会打开 Start a LAB-tuning run 对话框。
- 从 Data Science 项目 下拉列表中选择您的项目。
- 单击 Continue 以运行详细信息。
- Start a LAB-tuning run 页面将打开。
- 查看 项目详情、Pipeline details 和 Base model 部分的准确性。
- 在 Taxonomy details 部分中,输入您的 Taxonomy GIT URL。
- 如果您的 Git 存储库需要身份验证,请选择 SSH 密钥或 Username 和 token 方法,并输入适当的凭证。
在 LAB 指导模型和 LAB judge 模型 部分中,配置以下设置:
- 如果您的模型需要令牌身份验证,请选择 Authenticated endpoint,否则选择 Unauthenticated endpoint。
输入以
/v1 结尾的端点
。例如:https://mixtral-my-project.apps.my-cluster.com/v1
提示要查找您的 judge 和 teacher 模型的身份验证详情,请转至数据科学项目的 Models 选项卡。对于 Endpoint 和 Model name,点您的模型的 内部和外部端点详情。对于 Token,扩展您的模型的部分并找到 Token 身份验证 部分。
- 输入 Model name。
- 如果通过身份验证,输入 Token。
在 Training hardware 部分中,配置以下设置:
- 对于 Hardware profile,选择一个硬件配置集,将您的工作负载的硬件要求与可用节点资源匹配。如果存在项目范围内的硬件配置文件,则 Hardware profile 列表包含子标题,以区分全局硬件配置文件和项目范围内的硬件配置文件。
- 对于 培训节点,请输入用于运行的节点数量。一个节点用于评估运行阶段。
- 对于 存储类,请选择与 LAB-tuning 和 分布式培训 兼容的存储类。
- 可选:在 Hyperparameters 部分中,为运行配置高级设置。
在 Fine-tuned 模型详情 部分中,为基本模型的微调版本配置设置:
- 对于 Model output storage 位置,请选择 Existing connection location 以存储调优的模型输出,或者选择 Create connection 来创建新连接。
对于 OCI 存储位置字段,输入存储 LAB-tuned 模型的完整 Model URI。例如:
oci://quay.io/my-org/fine-tuned-model-name:version
URI 的值与连接不同。连接提供访问权限,而 URI 定义特定位置。
选择 Add model to registry 复选框,以便您可以在模型 registry 中存储、共享、版本和部署 LAB-tuned 模型。
- 对于 Model 版本名称,请为新的 LAB-tuned 模型版本输入一个名称。
- 单击 Start run。
验证
- Runs 页面为管道版本打开。