Red Hat Summit 红帽全球峰会支持控制台（Console）开发人员开始试用联系人

2.10. 关于 KServe 部署模式

您可以在 高级 或标准 部署模式中部署模型。

高级部署模式使用 Knative Serverless。默认情况下，KServe 与 Red Hat OpenShift Serverless 和 Red Hat OpenShift Service Mesh 集成，以便在单模式服务平台上部署模型。Red Hat Serverless 基于开源 Knative 项目，需要 Red Hat OpenShift Serverless Operator。

另外，您可以使用标准部署模式，它使用 KServe RawDeployment 模式，且不需要 Red Hat OpenShift Serverless Operator、Red Hat OpenShift Service Mesh 或 Authorino。

如果为 高级 部署模式配置 KServe，您可以设置数据科学项目，以 高级 和标准 部署模式提供模型。但是，如果您只 为标准 部署模式配置 KServe，则只能使用 标准 部署模式。

使用每个部署模式都有优点和缺点：

2.10.1. 高级模式
复制链接

优点：

  • 根据请求卷启用自动扩展：

    • 在接收传入请求时，资源会自动扩展。
    • 在高峰时间优化资源使用并保持性能。

  • 支持使用 Knative 缩减到零和从零缩减：

    • 当没有传入请求时，允许资源完全缩减。
    • 通过不运行空闲资源来节约成本。

缺点：

  • 具有自定义限制：

    • Serverless 由 Knative 支持，并隐式继承相同的设计选择，比如在挂载多个卷时。

  • 依赖于 Knative 进行扩展：

    • 与传统的扩展方法相比，设置和管理增加了额外的复杂性。

  • 集群范围内的组件：

    • 如果集群已经配置了 Serverless，则必须手动配置集群使其使用 OpenShift AI。

2.10.2. 标准模式
复制链接

优点：

  • 启用 Kubernetes 资源的部署，如 Deployment、Service、Route 和 Horizontal Pod Autoscaler，而无需其他依赖项，如 Red Hat Serverless、Red Hat Service Mesh 和 Authorino。

    • 与高级模式相比，生成的模型部署的资源占用较小。

  • 启用传统的 Deployment/Pod 配置，如挂载多个卷，它们无法使用 Knative 提供。

    • 对于需要复杂配置或多个存储挂载的应用程序有用。

缺点：

  • 不支持自动扩展：

    • 不支持在空闲时自动缩放为零资源。
    • 可能会导致流量低期间成本更高。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务，以及可以信赖的内容，帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情，请参阅红帽博客.

關於紅帽

我们提供强化的解决方案，使企业能够更轻松地跨平台和环境（从核心数据中心到网络边缘）工作。

Theme

© 2025 Red Hat