第 7 章 迁移到数据科学管道 2.0
在 OpenShift AI 版本 2.9 中,数据科学管道基于 KubeFlow Pipelines (KFP)版本 2.0。在 OpenShift AI 中默认启用和部署数据科学管道 2.0。
Data Science pipelines 2.0 包含 Argo 工作流的安装。OpenShift AI 不支持将这个 Argo 工作流安装的用户使用。
要使用数据科学管道安装或升级到 OpenShift AI 2.9 或更高版本,请确保集群没有安装 OpenShift AI 的 Argo 工作流。如果一个现有 Argo 工作流安装没有在集群中的数据科学管道安装,则在安装或升级 OpenShift AI 后将禁用数据科学管道。要启用数据科学管道,从集群中删除 Argo 工作流的独立安装。数据科学管道将自动启用。
OpenShift AI 创建的 Argo Workflows 资源在 Administration > CustomResourceDefinitions 下的 OpenShift Console 中有以下标签,在 argoproj.io
组中:
labels: app.kubernetes.io/part-of: data-science-pipelines-operator app.opendatahub.io/data-science-pipelines-operator: 'true'
labels:
app.kubernetes.io/part-of: data-science-pipelines-operator
app.opendatahub.io/data-science-pipelines-operator: 'true'
7.1. 升级到数据科学管道 2.0 复制链接链接已复制到粘贴板!
从 OpenShift AI 2.16 开始,数据科学管道 1.0 资源不再受到 OpenShift AI 的支持或管理。无法再从仪表板或 KFP API 服务器部署、查看或编辑基于数据科学管道 1.0 的管道详情。
OpenShift AI 不会自动将现有数据科学管道 1.0 实例迁移到 2.0。如果要升级到 OpenShift AI 2.16,您必须手动迁移现有的数据科学管道 1.0 实例并更新您的工作台。
要使用数据科学管道 2.0 升级到 OpenShift AI 2.16,请按照以下步骤操作:
如果您使用 GitOps 管理数据科学项目 1.0 管道运行,请暂停与数据科学管道相关的同步操作,包括 PipelineRuns 或 DataSciencePipelinesApplications (DSPAs)管理。迁移到数据科学管道 2.0 后,您的 PipelineRuns 将独立于数据科学管道进行管理,类似于任何其他 Tekton 资源。
- 备份管道数据。
- 在 Red Hat OpenShift AI 2.16 中部署一个新的集群(或使用其他现有集群)用作中间集群。您将使用这个中间集群上传、测试并验证您的新管道。
在中间集群中的 OpenShift AI 2.16 中,执行以下任务:
- 创建新的数据科学项目。
配置新的管道服务器。
重要如果使用外部数据库,则必须使用与数据科学管道 1.0 不同的外部数据库,因为数据库将迁移到数据科学管道 2.0 格式。
更新并重新编译您的数据科学管道 1.0 管道,如 Migrate to Kubeflow Pipelines v2 所述。
注意Data Science pipelines 2.0 不使用
kfp-tekton
库。在大多数情况下,您可以将kfp-tekton
的使用替换为kfp
库。对于数据科学管道 2.0,请使用 KFP SDK 的最新版本。如需更多信息,请参阅 Kubeflow Pipelines SDK API 参考。提示您可以在 OpenShift Console Developer 视角中查看历史数据科学管道 1.0 管道的信息,在 Pipelines
Project PipelineRuns 下在 OpenShift Console Developer 视角中运行信息。 - 将更新的管道导入到新数据科学项目中。
- 测试并验证您的新管道。
在主集群中,执行以下任务:
- 删除您的数据科学管道 1.0 管道服务器。
- 可选:删除您的数据科学管道 1.0 资源。如需更多信息,请参阅 删除数据科学管道 1.0 资源。
- 升级到 Red Hat OpenShift AI 2.16。如需更多信息,请参阅 在断开连接的环境中升级 OpenShift AI Self-Managed,或 在断开连接的环境中升级 Red Hat OpenShift AI。
在主集群中的 Red Hat OpenShift AI 2.16 升级实例中,执行以下任务:
为存在数据科学管道 1.0 管道服务器的每个数据科学项目重新创建管道服务器。
注意如果您使用 GitOps 管理 DSPA,请在执行同步操作前在 DSPA 中执行以下任务:
-
将
spec.dspVersion
设置为v2
。 -
验证
apiVersion
是否使用v1
而不是v1alpha1
。
-
将
将更新的数据科学项目导入到适用的管道服务器。
提示您可以通过创建一个使用 KFP SDK 客户端和
.upload_pipeline
和.get_pipeline
方法的脚本来执行批处理上传。
对于与数据科学管道 1.0 通信的任何工作台,请在升级的 Red Hat OpenShift AI 实例中执行以下任务:
- 删除现有的工作台。如需更多信息 ,请参阅从数据科学项目中删除工作台。
- 如果要使用笔记本镜像版本 2024.2,请在创建新工作台前升级到 Python 3.11。
- 创建一个新的工作台,它使用已删除工作台的现有持久性存储。如需更多信息,请参阅创建工作台。
- 运行管道,以便数据科学项目 2.0 管道服务器会调度它。