LLM Compressor

随着 AI 应用程序的成熟和新的压缩算法发布，需要统一工具来应用特定于用户推测需求的各种压缩算法，并优化以在加速硬件上运行。

优化大型语言模型(LLM)涉及平衡三个关键因素：模型大小、会议速度和准确性。改进其中任何一个因素会对其他因素产生负面影响。例如，提高模型准确性通常需要更多参数，这会导致更大的模型和可能较慢。这些因素之间的权衡是服务 LLM 时的一个核心挑战。

LLM Compressor 允许您执行模型优化技术，如量化、强度和压缩等，以减少内存用量、型号大小以及改进推测，而不影响模型响应的准确性。LLM Compressor 支持以下压缩方法：

结合使用这些方法，在受资源限制的硬件上更有效地部署模型。

LLM Compressor 支持 post-training 量化，一种降低模型大小并改进 CPU 和硬件加速器性能延迟的转换技术，而无需降级模型的准确性。简化的 API 根据您提供的数据集应用量化或健全性。

支持以下高级模型类型和部署工作流：

所有工作流都符合 Hugging Face-compatible，使模型能够量化、压缩和部署 vLLM 以实现效率推测。LLM Compressor 支持多种压缩算法：

每个压缩方法都计算权重和激活的最佳扩展和零点。优化扩展可以是每十个、频道、组或令牌。最终结果是一个压缩模型，它保存了所有应用的量化参数。

使用 LLM Compressor 创建的 Quantized 和稀疏模型使用 压缩的库( Safetensors 的扩展)保存。压缩格式与模型的量化或 sparsity 类型匹配。这些格式在 vLLM 中受到原生支持，通过使用 Red Hat AI Inference Server 或其他 inference 提供程序，通过优化部署内核实现快速提升。

您可以使用 Red Hat OpenShift AI 和 LLM Compressor 来试验模型培训、微调和压缩。LLM Compressor 的 OpenShift AI 集成提供了两个简介示例：

两者都在 Red Hat AI Examples 存储库中提供。