红帽全球峰会2.10. 关于 KServe 部署模式
默认情况下，您可以使用 Red Hat OpenShift Serverless 在单型号服务平台上部署模型，这是允许无服务器部署模型的云原生开发模型。OpenShift Serverless 基于开源 Knative 项目。另外，无服务器模式依赖于 Red Hat OpenShift Serverless Operator。
另外，您可以使用原始部署模式，它不依赖于 Red Hat OpenShift Serverless Operator。使用原始部署模式，您可以使用 Kubernetes 资源部署模型，如 Deployment、Service、Ingress 和 Horizontal Pod Autoscaler。
使用 KServe 原始部署模式部署机器学习模型是一个有限可用性功能。有限的可用性意味着您只能通过 Red Hat AI 事业部的特定批准方式安装和接收对该功能的支持。如果没有这样的批准，则不支持该功能。另外，这个功能只在单一节点 OpenShift 的自助管理部署中被支持。
使用每个部署模式都有优点和缺点：
2.10.1. Serverless 模式
优点：
根据请求卷启用自动扩展：
- 在接收传入请求时，资源会自动扩展。
- 在高峰时间优化资源使用并保持性能。
支持使用 Knative 缩减到零和从零缩减：
- 当没有传入请求时，允许资源完全缩减。
- 通过不运行空闲资源来节约成本。
缺点：
具有自定义限制：
- Serverless 仅限于 Knative，比如在挂载多个卷时。
依赖于 Knative 进行扩展：
- 与传统的扩展方法相比，设置和管理增加了额外的复杂性。
2.10.2. 原始部署模式
优点：
使用 Kubernetes 资源启用部署，如
Deployment、Service、Ingress和Horizontal Pod Autoscaler：- 提供对 Kubernetes 资源的完整控制，允许详细自定义和配置部署设置。
解锁 Knative 限制，如无法挂载多个卷：
- 对于需要复杂配置或多个存储挂载的应用程序有用。
缺点：
不支持自动扩展：
- 不支持在空闲时自动缩放为零资源。
- 可能会导致流量低期间成本更高。
- 需要手动管理缩放。
