1.3. 使用 llama-3.3-70B-Instruct 模型作为指导模型(技术预览)
RHEL AI 版本 1.5 支持在运行 Synthetic Data Generation (SDG)时使用 llama-3.3-70b-Instruct 作为老板模型。有关如何在 SDG 中使用指导模型的更多信息,请参阅使用 SDG 生成新数据集。使用较大的参数教授器模型(如 llama-3.3-70b-Instruct 模型)可以更有效地评估合成生成的问题和回答对,从而生成更高质量和更准确的数据集。
重要
使用 'llama-3.3-70b-Instruct' 作为描述符模型只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。
有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围。
先决条件
- 已使用可引导容器镜像安装了 RHEL AI。
-
您创建了带有知识或技能数据的自定义
qna.yaml文件。 -
您下载了
skills-adapter-v3:1.5和knowledge-adapter-v3:1.5LoRA 分层技术和知识适配器。
流程
-
运行以下命令,将
llama-3.3-70b-Instruct下载到 RHEL AI 系统:
$ ilab model download --repository docker://registry.redhat.io/rhelai1/llama-3.3-70b-Instruct --release latest
-
您可以运行以下命令来运行带有
llama-3.3-70b-Instruct模型的 SDG:
$ ilab data generate --pipeline llama