前言
LLM Compressor 是一个开源库,它以模型压缩纳入最新的研究,允许您以最少的努力生成压缩的模型。
LLM Compressor 框架利用最新的量化、强度和一般压缩技术来提高通用 AI 模型效率、可扩展性和性能,同时保持准确性。借助原生 Hugging Face 和 vLLM 支持,您可以无缝地将优化模型与部署管道集成,以便大规模更快地节约成本推测。
重要
LLM Compressor 只是一个技术预览功能。Developer Preview(开发人员预览)功能不被红帽支持,其功能可能并不完善且不是生产环境就绪。不要将开发人员预览功能用于生产环境或业务关键型工作负载。开发人员预览功能可以在之前可能地包含在红帽产品产品中提前访问即将推出的产品功能,使客户能够测试功能并在开发过程中提供反馈。这些功能可能没有任何文档,可能会随时被更改或删除,测试也会受到限制。红帽可能会提供在没有关联 SLA 的情况下提交对开发人员预览功能的反馈。