第4章 Red Hat OpenShift AI との統合
Red Hat OpenShift AI および LLM Compressor を使用して、モデルのトレーニング、微調整、および圧縮を試すことができます。LLM Compressor の OpenShift AI 統合では、次の 2 つの入門例が提供されます。
- CPU 上で実行可能な小さなモデルを使った圧縮の例を示すワークベンチイメージとノートブック。調整された圧縮が、データなしの手法に比べてどのように優れているかをハイライトしています。
- 同じワークフローをより大規模な Llama 3.2 モデルに拡張するデータサイエンスパイプライン。ユーザーが単一の URL から他の関係者と共有できる自動化された GPU アクセラレーション実験を構築する方法を紹介します。
どちらも Red Hat AI Examples リポジトリーで利用できます。
重要
LLM Compressor の OpenShift AI 統合は、開発者プレビュー機能です。