第 7 章 迁移到数据科学管道 2.0


在 OpenShift AI 版本 2.9 中,数据科学管道基于 KubeFlow Pipelines (KFP)版本 2.0。在 OpenShift AI 中默认启用和部署数据科学管道 2.0。

重要

Data Science pipelines 2.0 包含 Argo 工作流的安装。OpenShift AI 不支持将这个 Argo 工作流安装的用户使用。

要使用数据科学管道安装或升级到 OpenShift AI 2.9 或更高版本,请确保集群没有安装 OpenShift AI 的 Argo 工作流。如果一个现有 Argo 工作流安装没有在集群中的数据科学管道安装,则在安装或升级 OpenShift AI 后将禁用数据科学管道。要启用数据科学管道,从集群中删除 Argo 工作流的独立安装。数据科学管道将自动启用。

OpenShift AI 创建的 Argo Workflows 资源在 Administration > CustomResourceDefinitions 下的 OpenShift Console 中有以下标签,在 argoproj.io 组中:

 labels:
    app.kubernetes.io/part-of: data-science-pipelines-operator
    app.opendatahub.io/data-science-pipelines-operator: 'true'
Copy to Clipboard Toggle word wrap

7.1. 升级到数据科学管道 2.0

从 OpenShift AI 2.16 开始,数据科学管道 1.0 资源不再受到 OpenShift AI 的支持或管理。无法再从仪表板或 KFP API 服务器部署、查看或编辑基于数据科学管道 1.0 的管道详情。

OpenShift AI 不会自动将现有数据科学管道 1.0 实例迁移到 2.0。如果要升级到 OpenShift AI 2.16,您必须手动迁移现有的数据科学管道 1.0 实例并更新您的工作台。

要使用数据科学管道 2.0 升级到 OpenShift AI 2.16,请按照以下步骤操作:

注意

如果您使用 GitOps 管理数据科学项目 1.0 管道运行,请暂停与数据科学管道相关的同步操作,包括 PipelineRuns 或 DataSciencePipelinesApplications (DSPAs)管理。迁移到数据科学管道 2.0 后,您的 PipelineRuns 将独立于数据科学管道进行管理,类似于任何其他 Tekton 资源。

  1. 备份管道数据。
  2. 在 Red Hat OpenShift AI 2.16 中部署一个新的集群(或使用其他现有集群)用作中间集群。您将使用这个中间集群上传、测试并验证您的新管道。
  3. 在中间集群中的 OpenShift AI 2.16 中,执行以下任务:

    1. 创建新的数据科学项目。
    2. 配置新的管道服务器。

      重要

      如果使用外部数据库,则必须使用与数据科学管道 1.0 不同的外部数据库,因为数据库将迁移到数据科学管道 2.0 格式。

    3. 更新并重新编译您的数据科学管道 1.0 管道,如 Migrate to Kubeflow Pipelines v2 所述。

      注意

      Data Science pipelines 2.0 不使用 kfp-tekton 库。在大多数情况下,您可以将 kfp-tekton 的使用替换为 kfp 库。对于数据科学管道 2.0,请使用 KFP SDK 的最新版本。如需更多信息,请参阅 Kubeflow Pipelines SDK API 参考

      提示

      您可以在 OpenShift Console Developer 视角中查看历史数据科学管道 1.0 管道的信息,在 Pipelines Project PipelineRuns 下在 OpenShift Console Developer 视角中运行信息。

    4. 将更新的管道导入到新数据科学项目中。
    5. 测试并验证您的新管道。
  4. 在主集群中,执行以下任务:

    1. 删除您的数据科学管道 1.0 管道服务器。
    2. 可选:删除您的数据科学管道 1.0 资源。如需更多信息,请参阅 删除数据科学管道 1.0 资源
    3. 升级到 Red Hat OpenShift AI 2.16。如需更多信息,请参阅 在断开连接的环境中升级 OpenShift AI Self-Managed,或 在断开连接的环境中升级 Red Hat OpenShift AI
  5. 在主集群中的 Red Hat OpenShift AI 2.16 升级实例中,执行以下任务:

    1. 为存在数据科学管道 1.0 管道服务器的每个数据科学项目重新创建管道服务器。

      注意

      如果您使用 GitOps 管理 DSPA,请在执行同步操作前在 DSPA 中执行以下任务:

      • spec.dspVersion 设置为 v2
      • 验证 apiVersion 是否使用 v1 而不是 v1alpha1
    2. 将更新的数据科学项目导入到适用的管道服务器。

      提示

      您可以通过创建一个使用 KFP SDK 客户端和 .upload_pipeline.get_pipeline 方法的脚本来执行批处理上传。

  6. 对于与数据科学管道 1.0 通信的任何工作台,请在升级的 Red Hat OpenShift AI 实例中执行以下任务:

    1. 删除现有的工作台。如需更多信息 ,请参阅从数据科学项目中删除工作台
    2. 如果要使用笔记本镜像版本 2024.2,请在创建新工作台前升级到 Python 3.11。
    3. 创建一个新的工作台,它使用已删除工作台的现有持久性存储。如需更多信息,请参阅创建工作台
    4. 运行管道,以便数据科学项目 2.0 管道服务器会调度它。
返回顶部
Red Hat logoGithubredditYoutubeTwitter

学习

尝试、购买和销售

社区

关于红帽文档

通过我们的产品和服务,以及可以信赖的内容,帮助红帽用户创新并实现他们的目标。 了解我们当前的更新.

让开源更具包容性

红帽致力于替换我们的代码、文档和 Web 属性中存在问题的语言。欲了解更多详情,请参阅红帽博客.

關於紅帽

我们提供强化的解决方案,使企业能够更轻松地跨平台和环境(从核心数据中心到网络边缘)工作。

Theme

© 2025 Red Hat