第 2 章 在单模型服务平台上提供模型

对于部署大型语言模型(LLMs)的大型 模型，Red Hat OpenShift AI 包括一个基于 KServe 组件的模型服务平台。由于每个模型都从自己的模型服务器部署，单一模型服务平台可帮助您部署、监控、扩展和维护需要增加资源的大型模型。