7장. Data Science Pipeline 2.0으로 마이그레이션
OpenShift AI 버전 2.9에서 데이터 사이언스 파이프라인은 KubeFlow Pipelines(KFP) 버전 2.0 을 기반으로 합니다. 데이터 사이언스 파이프라인 2.0은 OpenShift AI에서 기본적으로 활성화 및 배포됩니다.
데이터 사이언스 파이프라인 2.0에는 Argo Workflows 설치가 포함되어 있습니다. Red Hat은 이 Argo 워크플로우 설치에 대한 직접 고객 사용을 지원하지 않습니다.
데이터 사이언스 파이프라인을 사용하여 OpenShift AI 2.9 이상을 설치하거나 업그레이드하려면 클러스터에 OpenShift AI에서 설치하지 않은 Argo Workflow의 기존 설치가 없는지 확인합니다. 클러스터의 데이터 사이언스 파이프라인에 의해 설치되지 않은 Argo Workflow의 기존 설치가 있는 경우 OpenShift AI를 설치하거나 업그레이드한 후 데이터 사이언스 파이프라인이 비활성화됩니다. 데이터 사이언스 파이프라인을 활성화하려면 클러스터에서 Argo 워크플로우의 별도의 설치를 제거합니다. 데이터 사이언스 파이프라인은 자동으로 활성화됩니다.
OpenShift AI에서 생성한 Argo Workflows 리소스에는 argoproj.io
그룹의 Administration > CustomResourceDefinitions 의 OpenShift 콘솔에 다음 레이블이 있습니다.
labels: app.kubernetes.io/part-of: data-science-pipelines-operator app.opendatahub.io/data-science-pipelines-operator: 'true'
labels:
app.kubernetes.io/part-of: data-science-pipelines-operator
app.opendatahub.io/data-science-pipelines-operator: 'true'
7.1. Data Science Pipeline 2.0으로 업그레이드 링크 복사링크가 클립보드에 복사되었습니다!
OpenShift AI 2.16부터는 데이터 과학 파이프라인 1.0 리소스가 더 이상 OpenShift AI에 의해 지원되거나 관리되지 않습니다. 대시보드 또는 KFP API 서버에서 데이터 사이언스 파이프라인 1.0을 기반으로 하는 파이프라인의 세부 정보를 더 이상 배포, 보기 또는 편집할 수 없습니다.
OpenShift AI는 기존 데이터 사이언스 파이프라인 1.0 인스턴스를 2.0으로 자동 마이그레이션하지 않습니다. OpenShift AI 2.16 이상으로 업그레이드하는 경우 기존 데이터 사이언스 파이프라인 1.0 인스턴스를 수동으로 마이그레이션하고 워크벤치를 업데이트해야 합니다.
데이터 사이언스 파이프라인 2.0을 사용하여 OpenShift AI 2.16 이상으로 업그레이드하려면 다음 단계를 따르십시오.
GitOps를 사용하여 데이터 사이언스 파이프라인 1.0 파이프라인을 관리하는 경우 PipelineRuns 또는 DSPA(DataSciencePipelines Applications) 관리를 포함하여 데이터 사이언스 파이프라인과 관련된 동기화 작업을 일시 중지합니다. 데이터 사이언스 파이프라인 2.0으로 마이그레이션한 후 PipelineRuns는 다른 Tekton 리소스와 유사하게 데이터 사이언스 파이프라인과 독립적으로 관리됩니다.
- 파이프라인 데이터를 백업합니다.
- Red Hat OpenShift AI 2.19에서 새 클러스터를 배포하거나 중간 클러스터로 사용할 수 있습니다. 이 중간 클러스터를 사용하여 새 파이프라인을 업로드, 테스트 및 확인합니다.
중간 클러스터의 OpenShift AI 2.19에서 다음 작업을 수행합니다.
- 새로운 데이터 사이언스 프로젝트를 만듭니다.
새 파이프라인 서버를 구성합니다.
중요외부 데이터베이스를 사용하는 경우 데이터베이스가 데이터 Science pipelines 2.0 형식으로 마이그레이션되므로 데이터 사이언스 파이프라인 1.0에 사용하는 것과 다른 외부 데이터베이스를 사용해야 합니다.
Kubeflow Pipelines v2로 마이그레이션에 설명된 대로 데이터 사이언스 파이프라인 1.0 파이프라인을 업데이트하고 다시 컴파일합니다.
참고데이터 사이언스 파이프라인 2.0은
kfp-tekton
라이브러리를 사용하지 않습니다. 대부분의 경우kfp-tekton
사용을kfp
라이브러리로 교체할 수 있습니다. 데이터 사이언스 파이프라인 2.0의 경우 최신 버전의 KFP SDK를 사용하십시오. 자세한 내용은 Kubeflow Pipelines SDK API Reference 를 참조하십시오.작은 정보파이프라인
프로젝트 PipelineRuns 의 OpenShift 콘솔 개발자 관점에서 기본 클러스터에 대한 과거 데이터 사이언스 파이프라인 1.0 파이프라인 실행 정보를 볼 수 있습니다. - 업데이트된 파이프라인을 새로운 데이터 사이언스 프로젝트로 가져옵니다.
- 새 파이프라인을 테스트하고 확인합니다.
기본 클러스터에서 다음 작업을 수행합니다.
- 데이터 사이언스 파이프라인 1.0 파이프라인 서버를 제거합니다.
- 선택 사항: 데이터 사이언스 파이프라인 1.0 리소스를 제거합니다. 자세한 내용은 데이터 사이언스 파이프라인 1.0 리소스 제거를 참조하십시오.
- Red Hat OpenShift AI 2.19로 업그레이드. 자세한 내용은 OpenShift AI Self-Managed 업그레이드 또는 연결이 끊긴 환경의 경우 연결이 끊긴 환경에서 Red Hat OpenShift AI 업그레이드 를 참조하십시오.
기본 클러스터에서 Red Hat OpenShift AI 2.19 업그레이드된 인스턴스에서 다음 작업을 수행합니다.
데이터 사이언스 파이프라인 1.0 파이프라인 서버가 존재하는 각 데이터 사이언스 프로젝트에 대해 파이프라인 서버를 다시 생성합니다.
참고GitOps를 사용하여 DSPA를 관리하는 경우 동기화 작업을 수행하기 전에 DSPA에서 다음 작업을 수행합니다.
-
spec.dspVersion
을v2
로 설정합니다. -
apiVersion
이v1alpha1
대신v1
을 사용하고 있는지 확인합니다.
-
업데이트된 데이터 사이언스 파이프라인을 해당 파이프라인 서버로 가져옵니다.
작은 정보KFP SDK Client 및
.upload_pipeline
및.get_pipeline
방법을 사용하는 스크립트를 생성하여 배치 업로드를 수행할 수 있습니다.
데이터 사이언스 파이프라인 1.0과 통신하는 워크벤치의 경우 업그레이드된 Red Hat OpenShift AI 인스턴스에서 다음 작업을 수행합니다.
- 기존 워크벤치를 삭제합니다. 자세한 내용은 데이터 과학 프로젝트에서 워크벤치 삭제 를 참조하십시오.
- 버전 2024.2 이상에서 워크벤치의 경우 새 워크벤치를 만들기 전에 Python 3.11으로 업그레이드합니다. OpenShift AI 및 사전 설치된 패키지에 제공된 워크벤치 이미지에 대한 자세한 내용은 Red Hat OpenShift AI: 지원되는 구성 지식베이스 문서를 참조하십시오.
- 삭제된 워크벤치의 기존 영구 스토리지를 사용하는 새 워크벤치를 만듭니다. 자세한 내용은 작업벤치 생성을 참조하십시오.
- 데이터 사이언스 파이프라인 2.0 파이프라인 서버가 스케줄링하도록 파이프라인을 실행합니다.