第 4 章 使用新模型提供和聊天

先决条件

• 已使用可引导容器镜像安装了 RHEL AI。
• 您初始化了 InstructLab。
• 您自定义了税务树，运行合成数据生成、培训并评估您的新模型。
• 您需要机器上的 root 用户访问权限。

流程

• 您可以运行以下命令来提供模型：

  $ ilab model serve --model-path <path-to-best-performed-checkpoint>

  其中：

  <path-to-best-performed-checkpoint>

  指定到您在培训后构建的检查点的完整路径。您的新模型是最佳执行检查点，其文件路径在培训后显示。

  示例命令：

  $ ilab model serve --model-path ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945/

  重要

  确定在模型路径的末尾有一个斜杠 /。

  ilab model serving 命令的输出示例

  $ ilab model serve --model-path ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/<checkpoint>
  INFO 2024-03-02 02:21:11,352 lab.py:201 Using model /home/example-user/.local/share/instructlab/checkpoints/hf_format/checkpoint_1945 with -1 gpu-layers and 4096 max context size.
  Starting server process
  After application startup complete see http://127.0.0.1:8000/docs for API.
  Press CTRL+C to shut down the server.