Red Hat Summit第3章 大規模言語モデルのダウンロード
Red Hat Enterprise Linux AI を使用すると、Red Hat と IBM が提供および構築したさまざまな大規模言語モデル (LLM) をカスタマイズしたり、それらとチャットしたりできます。以下のモデルは、Red Hat RHEL AI レジストリーからダウンロードできます。任意のカスタムモデルを S3 バケットにアップロードできます。
| 大規模言語モデル (LLM) | タイプ | サイズ | 目的 | モデルファミリー | NVIDIA アクセラレーターのサポート | AMD Accelerator サポート | Intel Accelerator サポート |
|---|---|---|---|---|---|---|---|
|
| LAB ファインチューニング granite スターターモデル | 16.0 GB | カスタマイズとファインチューニングを行うためのデフォルト Granite 3.1 ベースモデルのバージョン 2 | Granite 3.1 | 一般提供 | 一般提供 | 利用不可 |
|
| LAB によるファインチューニング済み Granite モデル | 16.0 GB | 推論サービング用のデフォルト Granite 3.1 モデルのバージョン 2 | Granite 3.1 | 一般提供 | 一般提供 | 利用不可 |
|
| LAB ファインチューニング granite スターターモデル | 16.0 GB | カスタマイズとファインチューニングを行うためのデフォルト Granite 3.1 ベースモデルのバージョン 2 | Granite 3.1 | 利用不可 | 利用不可 | テクノロジープレビュー |
|
| LAB によるファインチューニング済み Granite モデル | 16.0 GB | 推論サービング用のデフォルト Granite 3.1 モデルのバージョン 2 | Granite 3.1 | 利用不可 | 利用不可 | テクノロジープレビュー |
|
| LAB によるファインチューニング済み Granite コードモデル | 15.0 GB | LAB によるファインチューニング済みの推論サービング用 Granite コードモデル | Granite Code モデル | テクノロジープレビュー | テクノロジープレビュー | テクノロジープレビュー |
|
| Granite によるファインチューニング済みコードモデル | 15.0 GB | 推論サービング用の Granite コードモデル | Granite Code モデル | テクノロジープレビュー | テクノロジープレビュー | テクノロジープレビュー |
|
| デフォルトの教師モデル | 87.0 GB | 合成データ生成 (SDG) を実行するためのデフォルトの教師モデル | Mixtral | 一般提供 | 一般提供 | テクノロジープレビュー |
|
| オプションの教師モデル | 74.0 GB | 合成データ生成 (SDG) を実行するためのオプションの教師モデル | Llama | テクノロジープレビュー | 利用不可 | 利用不可 |
|
| 評価ジャッジモデル | 87.0 GB | 複数フェーズのトレーニングと評価を行うためのジャッジモデル | Prometheus 2 | 一般提供 | 一般提供 | テクノロジープレビュー |
granite-8b-code-instruct または granite-8b-code-base 大規模言語モデル (LLM) の使用は、テクノロジープレビュー機能です。テクノロジープレビュー機能は、Red Hat 製品のサービスレベルアグリーメント (SLA) の対象外であり、機能的に完全ではないことがあります。Red Hat は、実稼働環境でこれらを使用することを推奨していません。テクノロジープレビュー機能は、最新の製品機能をいち早く提供して、開発段階で機能のテストを行い、フィードバックを提供していただくことを目的としています。
Red Hat のテクノロジープレビュー機能のサポート範囲に関する詳細は、テクノロジープレビュー機能のサポート範囲 を参照してください。
Granite LLM のカスタマイズに必要なモデル
-
ハードウェアベンダーに応じた
granite-7b-starterまたはgranite-8b-starter-v1ベース LLM -
SDG 用の
mixtral-8x7b-instruct-v0-1教師モデル -
トレーニングと評価を行うための
prometheus-8x7b-v2-0ジャッジモデル
LLM のカスタマイズに必要な追加のツール
低ランク適応 (LoRA) アダプターは、合成データ生成 (SDG) プロセスの効率を高めます。
-
SDG 用の
skills-adapter-v3LoRA 階層化スキルアダプター SDG 用の
knowledge-adapter-v3LoRA 階層化ナレッジアダプターアダプターをダウンロードするコマンドの例
$ ilab model download --repository docker://registry.redhat.io/rhelai1/knowledge-adapter-v3 --release latest
LoRA 階層化アダプターは、ilab model list コマンドの出力には表示されません。ls ~/.cache/instructlab/models フォルダーに、skills-adapter-v3 ファイルと knowledge-adapter-v3 ファイルが表示されます。
3.1. Red Hat リポジトリーからのモデルのダウンロード
Red Hat および IBM が作成した追加のオプションモデルをダウンロードできます。
前提条件
- 起動可能なコンテナーイメージを使用して RHEL AI をインストールしている。
- InstructLab を初期化している。
- Red Hat レジストリーアカウントを作成し、マシンにログインしている。
- マシンの root ユーザーアクセス権がある。
手順
追加の LLM モデルをダウンロードするには、次のコマンドを実行します。
$ ilab model download --repository docker://<repository_and_model> --release <release>ここでは、以下のようになります。
- <repository_and_model>
-
モデルとモデルのリポジトリーのロケーションを指定します。モデルには、
registry.redhat.io/rhelai1/リポジトリーからアクセスできます。 - <release>
-
モデルのバージョンを指定します。RHEL AI バージョン 1.5 でサポートされているモデルの場合は
1.5に設定します。モデルの最新バージョンの場合は、latestに設定します。
コマンドの例
$ ilab model download --repository docker://registry.redhat.io/rhelai1/granite-3.1-8b-starter-v1 --release latest
検証
次のコマンドを使用すると、トレーニング後の新しいモデルなど、ダウンロードしたすべてのモデルをシステム上で表示できます。
$ ilab model list出力例
+-----------------------------------+---------------------+---------+ | Model Name | Last Modified | Size | +-----------------------------------+---------------------+---------+ | models/prometheus-8x7b-v2-0 | 2024-08-09 13:28:50 | 87.0 GB| | models/mixtral-8x7b-instruct-v0-1 | 2024-08-09 13:28:24 | 87.0 GB| | models/granite-3.1-8b-starter-v1 | 2024-08-09 14:28:40 | 16.6 GB| | models/granite-3.1-8b-lab-v1 | 2024-08-09 14:40:35 | 16.6 GB| +-----------------------------------+---------------------+---------+次のコマンドを実行して、
ls ~/.cache/instructlab/modelsフォルダーにダウンロードしたモデルをリスト表示することもできます。$ ls ~/.cache/instructlab/models出力例
granite-3.1-8b-starter-v1 granite-3.1-8b-lab-v1
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}