4.2. 使用新模型进行聊天


您可以与已通过数据进行培训的模型进行聊天。

先决条件

  • 已使用可引导容器镜像安装了 RHEL AI。
  • 您初始化了 InstructLab。
  • 您自定义了税务树,运行生成、培训并评估您的新模型的合成数据。
  • 您提供检查点模型。
  • 您需要机器上的 root 用户访问权限。

流程

  1. 由于您要在一个终端窗口中提供模型,您必须打开一个新的终端窗口来与模型进行聊天。
  2. 要与新模型进行聊天,请运行以下命令:

    $ ilab model chat --model <path-to-best-performed-checkpoint-file>
    Copy to Clipboard

    其中:

    <path-to-best-performed-checkpoint-file>

    指定您在培训后构建的新模型检查点文件。您的新模型是最佳执行检查点,其文件路径在培训后显示。

    示例命令:

    $ ilab model chat --model ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945
    Copy to Clipboard

  3. InstructLab chatbot 的输出示例

    $ ilab model chat
    ╭────────────────────────────────────────────────────────────────────────────────────────────────────────────────── system ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
    │ Welcome to InstructLab Chat w/ CHECKPOINT_1945 (type /h for help)                                                                                                                                                                    │
    ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
    >>>                                                                                                                                                                                                                        [S][default]
    Copy to Clipboard

    键入 exit 以离开 chatbot。

返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat