第 1 章 OpenShift AI 架构
Red Hat OpenShift AI 是一个完全托管的云服务,可作为 Red Hat OpenShift Dedicated 和 Amazon Web Services (ROSA 经典)上的 Red Hat OpenShift Service 的附加组件提供。
OpenShift AI 集成了以下组件和服务:
在服务层:
- OpenShift AI 仪表板
一个面向客户的仪表板,显示 OpenShift AI 环境的可用和已安装的应用程序,以及学习资源,如教程、快速启动示例和文档。您还可以从仪表板访问管理功能,如用户管理、集群设置、加速器配置集、硬件配置集和工作台镜像设置。此外,数据科学家可以从控制面板创建自己的项目。这使得他们能够将其数据科学组织到一个项目中。
重要默认情况下,硬件配置集在仪表板导航菜单和用户界面中隐藏,而加速器配置集保持可见。另外,与已弃用的加速器配置集功能关联的用户界面组件仍然会显示。要在仪表板导航菜单中显示 Settings
Hardware profiles 选项,以及与硬件配置集关联的用户界面组件,请在 OpenShift 中的 OdhDashboardConfig自定义资源(CR)中将disableHardwareProfiles值设置为false。有关设置仪表板配置选项的更多信息,请参阅 自定义仪表板。- 模型服务
- 数据科学家可以部署受培训的机器学习模型,为生产环境中的智能应用程序提供服务。部署后,应用程序可以使用其部署的 API 端点向模型发送请求。
- 数据科学项目(data Science)管道
- 数据科学家可以使用 Docker 容器构建带有数据科学管道 2.0 的可移植机器学习(ML)工作流。借助数据科学项目,数据科学家可以在开发其数据科学项目模型时自动化工作流。
- Jupyter (红帽管理的)
- 一个由红帽管理的应用程序,允许数据科学家配置基本独立工作台并在 JupyterLab 中开发机器学习模型。
- 分布式工作负载
- 数据科学家可以并行使用多个节点来更迅速地培训机器学习模型或处理数据。这种方法可显著减少任务完成时间,并允许使用更大的数据集和更复杂的模型。
- 检索式生成(RAG)
- 数据科学家和 AI 工程师可以利用集成的 Llama Stack Operator 提供的 Retrieval-Augmented Generation (RAG)功能。通过组合大型语言模型推测、语义检索和向量数据库存储,数据科学家和 AI 工程师可根据数据科学项目中自己的数据集来获取复杂查询的定制、准确且可验证的答案。
在管理层:
- Red Hat OpenShift AI Operator
- 一个 meta-operator,它部署和维护属于 OpenShift AI 的所有组件和子 Operator。
- 监控服务
- Alertmanager、OpenShift Telemetry 和 Prometheus 协同工作,从 OpenShift AI 和组织收集指标,并以实用的方式显示这些指标。来自 Alertmanager 的警报发送到 PagerDuty,负责通知红帽与受管云服务相关的问题。
在 OpenShift Cluster Manager 中安装 Red Hat OpenShift AI 附加组件时,会创建以下新项目:
-
redhat-ods-operator项目包含 Red Hat OpenShift AI Operator。 -
redhat-ods-applications项目包括仪表板和 OpenShift AI 的其他必要组件。 -
redhat-ods-monitoring项目包含用于监控和计费的服务。 -
rhods-notebooks项目是默认部署基本工作台的位置。
您或您的数据科学家必须为将使用机器学习模式的应用创建额外的项目。
不要在与 OpenShift AI 附加组件关联的命名空间中安装独立软件供应商(ISV)应用程序,除非您特别定向到仪表板上的应用程序标题。