LLM Compressor

AI アプリケーションが成熟し、新しい圧縮アルゴリズムが公開されるにつれて、ユーザーの推論要件に固有のさまざまな圧縮アルゴリズムを適用でき、アクセラレーションされたハードウェアで実行するように最適化された、統合ツールが必要になります。

大規模言語モデル (LLM) を最適化するには、モデルのサイズ、推論速度、精度という 3 つの重要な要素のバランスを取る必要があります。これらの要因のいずれかを改善することで、他の要因に悪影響を及ぼす可能性があります。たとえば、モデルの精度を上げるには通常、より多くのパラメーターが必要となり、その結果モデルが大きくなり、推論二時間がかかる可能性があります。これらの要素を両立させることが、LLM を提供するときの主な課題の 1 つです。

LLM Compressor を使用すると、量子化、スパース性、圧縮などのモデル最適化手法を実行して、メモリー使用量とモデルサイズを削減し、モデル応答の精度に影響を与えずに推論を改善できます。LLM Compressor では、以下の圧縮方法がサポートされます。

これらの方法を組み合わせて使用すると、リソースに限りのあるハードウェアでモデルをより効率的にデプロイできます。

LLM Compressor は、トレーニング後の量子化をサポートしています。これは、モデルの精度を低下させることなく、モデルのサイズを縮小し、CPU とハードウェアアクセラレーターのパフォーマンスの遅延を改善する変換手法です。効率化された API は、提供されたデータセットに基づいて量子化またはスパース性を適用します。

次の高度なモデルタイプとデプロイメントワークフローがサポートされています。

すべてのワークフローは Hugging Face と互換性があり、モデルを量子化、圧縮し、vLLM を使用してデプロイし、効率的な推論を行うことができます。LLM Compressor は、複数の圧縮アルゴリズムをサポートしています。

これらの各圧縮方法は、重みとアクティベーションの最適なスケールとゼロポイントを計算します。最適化されたスケールは、テンソル、チャネル、グループ、またはトークンごとに設定できます。最終的に、すべての量子化パラメータが適用された圧縮済みモデルになります。

LLM Compressor を使用して作成した量子化モデルとスパースモデルは compressed-tensors ライブラリー (Safetensors の拡張) を使用して保存されます。圧縮形式は、モデルの量子化またはスパース性のタイプと一致します。これらの形式は vLLM でネイティブにサポートされているため、Red Hat AI Inference Server やその他の推論プロバイダーを使用して、最適化されたデプロイメントカーネルを通じて高速な推論が可能になります。

Red Hat OpenShift AI および LLM Compressor を使用して、モデルのトレーニング、微調整、および圧縮を試すことができます。LLM Compressor の OpenShift AI 統合では、次の 2 つの入門例が提供されます。

どちらも Red Hat AI Examples リポジトリーで利用できます。