はじめに

Red Hat AI Model Optimization Toolkit は、モデル圧縮に関する最新の研究を取り入れたオープンソースライブラリーであり、最小限の労力で圧縮モデルを生成できます。Red Hat AI Model Optimization Toolkit は、アップストリームの LLM Compressor プロジェクト に基づいています。

Red Hat AI Model Optimization Toolkit フレームワークは、最新の量子化、スパース性、および一般的な圧縮技術を活用して、精度を維持しながら生成 AI モデルの効率、スケーラビリティー、およびパフォーマンスを向上させます。ネイティブでの Hugging Face および vLLM のサポートにより、最適化されたモデルをデプロイメントパイプラインにシームレスに統合し、圧縮テンソルモデル形式を活用して、大規模な推論を高速かつ低コストで実行できます。