4.2. 使用新模型进行聊天
您可以与已通过数据进行培训的模型进行聊天。
先决条件
- 已使用可引导容器镜像安装了 RHEL AI。
- 您初始化了 InstructLab。
- 您自定义了税务树,运行生成、培训并评估您的新模型的合成数据。
- 您提供检查点模型。
- 您需要机器上的 root 用户访问权限。
流程
- 由于您要在一个终端窗口中提供模型,您必须打开一个新的终端窗口来与模型进行聊天。
要与新模型进行聊天,请运行以下命令:
ilab model chat --model <path-to-best-performed-checkpoint-file>
$ ilab model chat --model <path-to-best-performed-checkpoint-file>
Copy to Clipboard Copied! 其中:
- <path-to-best-performed-checkpoint-file>
指定您在培训后构建的新模型检查点文件。您的新模型是最佳执行检查点,其文件路径在培训后显示。
示例命令:
ilab model chat --model ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945
$ ilab model chat --model ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945
Copy to Clipboard Copied!
InstructLab chatbot 的输出示例
ilab model chat >> [S][default]
$ ilab model chat ╭────────────────────────────────────────────────────────────────────────────────────────────────────────────────── system ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮ │ Welcome to InstructLab Chat w/ CHECKPOINT_1945 (type /h for help) │ ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯ >>> [S][default]
Copy to Clipboard Copied! 键入
exit
以离开 chatbot。