4.2. 新しいモデルとのチャット

手順

1. 1 つのターミナルウィンドウでモデルをサービングしているため、モデルとチャットするには新しいターミナルウィンドウを開く必要があります。

2. 新しいモデルとチャットするには、次のコマンドを実行します。

   $ ilab model chat --model <path-to-best-performed-checkpoint-file>

   以下は、

   <path-to-best-performed-checkpoint-file>

   トレーニング後に構築した新しいモデルチェックポイントを指定します。最もパフォーマンスの高いチェックポイントが新しいモデルになり、トレーニング後にファイルパスが表示されます。

   コマンドの例:

   $ ilab model chat --model ~/.local/share/instructlab/phased/phase2/checkpoints/hf_format/samples_1945

3. InstructLab チャットボットの出力例

   $ ilab model chat
   ╭────────────────────────────────────────────────────────────────────────────────────────────────────────────────── system ──────────────────────────────────────────────────────────────────────────────────────────────────────────────────╮
   │ Welcome to InstructLab Chat w/ CHECKPOINT_1945 (type /h for help)                                                                                                                                                                    │
   ╰────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╯
   >>>                                                                                                                                                                                                                        [S][default]

   チャットボットを終了するには exit と入力します。