第 2 章 新功能及功能增强

单型号服务平台（使用 KServe）现在包括 vLLM，它是一个用于大型语言模型的高性能、专用运行时，使用名为 paged 的特殊方法来加快在某些加速器上的多个 LLM 的执行。

vLLM 运行时与 OpenAI API 兼容。vLLM 的初始版本需要 GPU，且没有针对 CPU 推测进行了优化。

如果您为单型号服务平台配置了监控，您也可以查看 vLLM 运行时指标。