第 3 章 提供大型模型

为了部署大型模型，如大型语言模型(LLMs)，Red Hat OpenShift AI 包括一个 单一模型服务平台，它基于 KServe 组件。由于每个模型都是从其自己的模型服务器部署的，因此单一模型服务平台可帮助您部署、监控、扩展和维护需要增加资源的大型模型。