搜索

第 3 章 安装单模式服务平台

download PDF

3.1. 关于单模式服务平台

为了部署大型模型,如大型语言模型(LLMs),OpenShift AI 包含一个基于 KServe 组件的单模型服务平台。要安装单型号服务平台,需要以下组件:

  • KServe :一种 Kubernetes 自定义资源定义(CRD),编配所有类型的模型的模型服务。KServe 包括实现给定模型服务器的加载的模型运行时。KServe 还处理部署对象、存储访问和网络设置的生命周期。
  • Red Hat OpenShift Serverless :一个云原生开发模型,允许无服务器部署模型。OpenShift Serverless 基于开源 Knative 项目。
  • Red Hat OpenShift Service Mesh :一个服务网格网络层,用于管理流量流并强制实施访问策略。OpenShift Service Mesh 基于开源 Istio 项目。

    注意

    目前,只支持 OpenShift Service Mesh v2。如需更多信息,请参阅 支持的配置

您可以手动安装单型号服务平台,或自动安装:

自动安装
如果您还没有在 OpenShift 集群上创建 ServiceMeshControlPlaneKNativeServing 资源,您可以将 Red Hat OpenShift AI Operator 配置为安装 KServe 并配置其依赖项。如需更多信息,请参阅配置 KServe 的自动安装
手动安装
如果您已在 OpenShift 集群上创建了 ServiceMeshControlPlaneKNativeServing 资源,则无法 配置 Red Hat OpenShift AI Operator 来安装 KServe 并配置其依赖项。在这种情况下,您必须手动安装 KServe。如需更多信息,请参阅 手动安装 KServe
Red Hat logoGithubRedditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

© 2024 Red Hat, Inc.