第 1 章 关于模型服务


在 Red Hat OpenShift AI 上服务经过培训的模型意味着在 OpenShift 集群上部署模型进行测试,然后将它们集成到智能应用程序中。部署模型使其可作为服务使用 API 访问。这可让您根据通过 API 调用提供的数据输入返回预测。这个过程被称为 推断(inencing)的型号。当您在 OpenShift AI 上提供模型时,您可以在仪表板中显示您可以访问部署模型的端点。

OpenShift AI 提供以下模型服务平台:

单模式服务平台
对于部署大型语言模型(LLMs)的大型 模型,OpenShift AI 包括一个基于 KServe 组件的单型号 服务平台。由于每个模型都从其自身的模型服务器部署,因此单模式服务平台可帮助您部署、监控、扩展和维护需要增加资源的大型模型。
多模式服务平台
对于部署中小型模型和中型模型,OpenShift AI 包括一个基于 ModelMesh 组件的 多模型服务平台。在多模型服务平台上,您可以在同一模型服务器上部署多个模型。每个部署的模型共享服务器资源。这种方法可能对具有有限计算资源或 pod 的 OpenShift 集群具有优势。
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.