1.3. llama-3.3-70B-Instruct モデルを教師モデルとして使用する (テクノロジープレビュー)
RHEL AI バージョン 1.5 では、合成データ生成 (SDG) を実行するときに llama-3.3-70b-Instruct を教師モデルとして使用することがサポートされています。SDG での教師モデルの利用方法の詳細は、SDG を使用した新しいデータセットの生成 を参照してください。llama-3.3-70b-Instruct モデルなど、より大きなパラメーターを持つ教師モデルを使用すると、合成生成された質問と回答のペアをより効果的に評価できるため、元のシードファイルに適した、より高品質で正確なデータセットが生成されます。
`llama-3.3-70b-Instruct` の教師モデルとしての使用は、テクノロジープレビュー機能です。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat は、実稼働環境でこれらを使用することを推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
前提条件
- 起動可能なコンテナーイメージを使用して RHEL AI をインストールしている。
-
ナレッジまたはスキルデータを含むカスタムの
qna.yamlファイルを作成している。 -
skills-adapter-v3:1.5およびknowledge-adapter-v3:1.5LoRA 階層化スキルおよびナレッジアダプターをダウンロードしている。
手順
-
次のコマンドを実行して、
llama-3.3-70b-Instructを RHEL AI システムにダウンロードします。
$ ilab model download --repository docker://registry.redhat.io/rhelai1/llama-3.3-70b-Instruct --release latest
-
次のコマンドを実行して、
llama-3.3-70b-Instructモデルを教師モデルとして SDG を実行できます。
$ ilab data generate --pipeline llama