搜索

第 1 章 关于模型服务

download PDF

在 Red Hat OpenShift AI 上提供受培训的模型意味着在 OpenShift 集群上部署模型进行测试,然后将它们集成到智能应用程序中。部署模型使其可作为服务使用 API 访问。这可让您根据通过 API 调用提供的数据输入返回预测。此过程称为模型 推断。当您为 OpenShift AI 提供模型时,仪表板中会显示您可以访问部署的模型的 inference 端点。

OpenShift AI 提供以下模型服务平台:

单模式服务平台
为了部署大型模型,如大型语言模型(LLMs),OpenShift AI 包含一个基于 KServe 组件的 单模型服务平台。由于每个模型都是从其自己的模型服务器部署的,因此单一模型服务平台可帮助您部署、监控、扩展和维护需要增加资源的大型模型。
多型号服务平台
为了部署小型和中型模型,OpenShift AI 包含一个基于 ModelMesh 组件的 多模式服务平台。在多模式服务平台上,您可以在相同的模型服务器上部署多种模型。部署的每个模型共享服务器资源。这种方法对具有有限计算资源或 Pod 的 OpenShift 集群而言有优势。
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.