1.3. 使用 llama-3.3-70B-Instruct 模型作为指导模型(技术预览)


RHEL AI 版本 1.5 支持在运行 Synthetic Data Generation (SDG)时使用 llama-3.3-70b-Instruct 作为老板模型。有关如何在 SDG 中使用指导模型的更多信息,请参阅使用 SDG 生成新数据集。使用较大的参数教授器模型(如 llama-3.3-70b-Instruct 模型)可以更有效地评估合成生成的问题和回答对,从而生成更高质量和更准确的数据集。

重要

使用 'llama-3.3-70b-Instruct' 作为描述符模型只是一个技术预览功能。技术预览功能不受红帽产品服务等级协议(SLA)支持,且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能,并有机会在开发阶段提供反馈意见。

有关红帽技术预览功能支持范围的更多信息,请参阅技术预览功能支持范围

先决条件

  • 已使用可引导容器镜像安装了 RHEL AI。
  • 您创建了带有知识或技能数据的自定义 qna.yaml 文件。
  • 您下载了 skills-adapter-v3:1.5knowledge-adapter-v3:1.5 LoRA 分层技术和知识适配器。

流程

  1. 运行以下命令,将 llama-3.3-70b-Instruct 下载到 RHEL AI 系统:
$ ilab model download --repository docker://registry.redhat.io/rhelai1/llama-3.3-70b-Instruct --release latest
  1. 您可以运行以下命令来运行带有 llama-3.3-70b-Instruct 模型的 SDG:
$ ilab data generate --pipeline llama
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

关于红帽文档

Legal Notice

Theme

© 2026 Red Hat
返回顶部