第4章 新しいモデルのサービングおよびチャット

前提条件

• 起動可能なコンテナーイメージを使用して RHEL AI をインストールしている。
• InstructLab を初期化している。
• タクソノミーツリーをカスタマイズし、合成データ生成を実行して、新しいモデルをトレーニングして評価している。
• マシンで root ユーザーアクセス権がある。

手順

• 次のコマンドを実行して、モデルを提供できます。

  $ ilab model serve --model-path <path-to-best-performed-checkpoint>

  以下は、

  <path-to-best-performed-checkpoint>

  トレーニング後に構築したチェックポイントへのフルパスを指定します。最もパフォーマンスの高いチェックポイントが新しいモデルになり、トレーニング後にファイルパスが表示されます。

  コマンドの例:

  $ ilab model serve --model-path ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945/

  重要

  モデルパスの最後にスラッシュ / があることを確認してください。

  ilab model serve コマンドの出力例

  $ ilab model serve --model-path ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/<checkpoint>
  INFO 2024-03-02 02:21:11,352 lab.py:201 Using model /home/example-user/.local/share/instructlab/checkpoints/hf_format/checkpoint_1945 with -1 gpu-layers and 4096 max context size.
  Starting server process
  After application startup complete see http://127.0.0.1:8000/docs for API.
  Press CTRL+C to shut down the server.