第 3 章 与红帽 AI Inference Server 和 vLLM 集成

使用 LLM Compressor 创建的 Quantized 和稀疏模型使用 压缩的库( Safetensors 的扩展)保存。压缩格式与模型的量化或 sparsity 类型匹配。这些格式在 vLLM 中受到原生支持，通过使用 Red Hat AI Inference Server 或其他 inference 提供程序，通过优化部署内核实现快速提升。