第 3 章 安装单模式服务平台
3.1. 关于单模式服务平台
为了部署大型模型,如大型语言模型(LLMs),OpenShift AI 包含一个基于 KServe 组件的单模型服务平台。要安装单型号服务平台,需要以下组件:
- KServe :一种 Kubernetes 自定义资源定义(CRD),编配所有类型的模型的模型服务。KServe 包括实现给定模型服务器的加载的模型运行时。KServe 还处理部署对象、存储访问和网络设置的生命周期。
- Red Hat OpenShift Serverless :一个云原生开发模型,允许无服务器部署模型。OpenShift Serverless 基于开源 Knative 项目。
Red Hat OpenShift Service Mesh :一个服务网格网络层,用于管理流量流并强制实施访问策略。OpenShift Service Mesh 基于开源 Istio 项目。
注意目前,只支持 OpenShift Service Mesh v2。如需更多信息,请参阅 支持的配置。
您可以手动安装单型号服务平台,或自动安装:
- 自动安装
-
如果您还没有在 OpenShift 集群上创建
ServiceMeshControlPlane
或KNativeServing
资源,您可以将 Red Hat OpenShift AI Operator 配置为安装 KServe 并配置其依赖项。如需更多信息,请参阅配置 KServe 的自动安装 - 手动安装
-
如果您已在 OpenShift 集群上创建了
ServiceMeshControlPlane
或KNativeServing
资源,则无法 配置 Red Hat OpenShift AI Operator 来安装 KServe 并配置其依赖项。在这种情况下,您必须手动安装 KServe。如需更多信息,请参阅 手动安装 KServe。