在 Red Hat OpenShift AI 上服务经过培训的模型意味着在 OpenShift 集群上部署模型进行测试,然后将它们集成到智能应用程序中。部署模型使其可作为服务使用 API 访问。这可让您根据通过 API 调用提供的数据输入返回预测。这个过程被称为 推断(inencing)的型号。当您在 OpenShift AI 上提供模型时,您可以在仪表板中显示您可以访问部署模型的端点。
OpenShift AI 提供以下模型服务平台:
单模式服务平台
对于部署大型语言模型(LLMs)的大型 模型,OpenShift AI 包括一个基于 KServe 组件的单型号 服务平台。由于每个模型都从其自身的模型服务器部署,因此单模式服务平台可帮助您部署、监控、扩展和维护需要增加资源的大型模型。
多模式服务平台
对于部署中小型模型和中型模型,OpenShift AI 包括一个基于 ModelMesh 组件的 多模型服务平台。在多模型服务平台上,您可以在同一模型服务器上部署多个模型。每个部署的模型共享服务器资源。这种方法可能对具有有限计算资源或 pod 的 OpenShift 集群具有优势。