1장. 데이터 사이언스 파이프라인 관리


1.1. 파이프라인 서버 구성

OpenShift AI에서 파이프라인을 성공적으로 생성하려면 파이프라인 서버를 구성해야 합니다. 이 작업에는 파이프라인 아티팩트 및 데이터가 저장되는 위치를 구성하는 작업이 포함됩니다.

참고

파이프라인 서버에 대한 연결을 구성할 때 스토리지 디렉터리를 지정할 필요는 없습니다. 파이프라인을 가져올 때 파이프라인의 YAML 파일이 포함된 버킷의 루트 폴더에 /pipelines 폴더가 생성됩니다. 동일한 파이프라인의 새 버전을 업로드하면 다른 ID가 있는 새 YAML 파일이 /pipelines 폴더에 추가됩니다.

파이프라인을 실행하면 아티팩트가 버킷의 루트 폴더에 있는 /pipeline-name 폴더에 저장됩니다.

중요

외부 MySQL 데이터베이스를 사용하여 OpenShift AI 2.9 이상으로 업그레이드하는 경우 데이터베이스가 데이터 사이언스 파이프라인 2.0 형식으로 마이그레이션되어 이전 버전의 OpenShift AI와 호환되지 않습니다.

사전 요구 사항

  • Red Hat OpenShift AI에 로그인했습니다.
  • OpenShift AI 그룹을 사용하는 경우 OpenShift의 사용자 그룹 또는 관리자 그룹(예: rhoai-users 또는 rhoai-admins )의 일부입니다.
  • 파이프라인 서버를 추가할 수 있는 데이터 사이언스 프로젝트를 생성했습니다.
  • 기존 S3 호환 오브젝트 스토리지 버킷이 있고 스토리지 계정의 S3 버킷에 대한 쓰기 액세스를 구성했습니다.
  • 프로덕션 파이프라인 워크로드에 대한 파이프라인 서버를 구성하는 경우 기존 외부 MySQL 또는 MariaDB 데이터베이스가 있습니다.
  • 외부 MySQL 데이터베이스를 사용하여 파이프라인 서버를 구성하는 경우 데이터베이스는 최소 MySQL 버전 5.x를 사용해야 합니다. 그러나 Red Hat은 MySQL 버전 8.x를 사용하는 것이 좋습니다.

    참고

    ML 메타데이터 구성 요소가 데이터베이스에 성공적으로 연결하려면 mysql_native_password 인증 플러그인이 필요합니다. mysql_native_password 는 MySQL 8.4 이상에서 기본적으로 비활성화되어 있습니다. 데이터베이스에서 MySQL 8.4 이상을 사용하는 경우 mysql_native_password 플러그인을 활성화하도록 MySQL 배포를 업데이트해야 합니다.

    mysql_native_password 플러그인 활성화에 대한 자세한 내용은 MySQL 문서의 네이티브 플러그형 인증을 참조하십시오.

  • MariaDB 데이터베이스를 사용하여 파이프라인 서버를 구성하는 경우 데이터베이스에서 MariaDB 버전 10.3 이상을 사용해야 합니다. 그러나 Red Hat은 최소 MariaDB 버전 10.5를 사용하는 것이 좋습니다.

프로세스

  1. OpenShift AI 대시보드에서 데이터 과학 프로젝트를 클릭합니다.

    데이터 사이언스 프로젝트 페이지가 열립니다.

  2. 파이프라인 서버를 구성할 프로젝트의 이름을 클릭합니다.

    프로젝트 세부 정보 페이지가 열립니다.

  3. Pipelines 탭을 클릭합니다.
  4. 파이프라인 서버 구성 을 클릭합니다.

    파이프라인 서버 구성 대화 상자가 표시됩니다.

  5. 오브젝트 스토리지 연결 섹션에서 필수 필드의 값을 제공합니다.

    1. 액세스 키 필드에 S3 호환 오브젝트 스토리지 공급자의 액세스 키 ID를 입력합니다.
    2. Secret 키 필드에 지정한 S3 호환 오브젝트 스토리지 계정의 시크릿 액세스 키를 입력합니다.
    3. Endpoint 필드에 S3 호환 오브젝트 스토리지 버킷의 끝점을 입력합니다.
    4. Region 필드에 S3 호환 오브젝트 스토리지 계정의 기본 리전을 입력합니다.
    5. Bucket 필드에 S3 호환 오브젝트 스토리지 버킷의 이름을 입력합니다.

      중요

      잘못된 연결 설정을 지정하는 경우 동일한 파이프라인 서버에서 이러한 설정을 업데이트할 수 없습니다. 따라서 파이프라인 서버를 삭제하고 다른 서버를 구성해야 합니다.

      파이프라인의 작업에서 생성하지 않은 기존 아티팩트를 사용하려면 kfp.dsl.importer 구성 요소를 사용하여 해당 URI에서 아티팩트를 가져올 수 있습니다. 이러한 아티팩트를 파이프라인 서버 구성의 Bucket 필드에 정의한 S3 호환 오브젝트 스토리지 버킷으로만 가져올 수 있습니다. kfp.dsl.importer 구성 요소에 대한 자세한 내용은 특수 케이스: 가져오기 구성 요소를 참조하십시오.

  6. 데이터베이스 섹션에서 고급 데이터베이스 옵션 표시를 클릭하여 파이프라인 데이터를 저장할 데이터베이스를 지정하고 다음 작업 세트 중 하나를 선택합니다.

    • 클러스터에 저장된 기본 데이터베이스 사용을 선택하여 프로젝트에 MariaDB 데이터베이스를 배포합니다.

      중요

      클러스터 옵션에 저장된 기본 데이터베이스 사용은 개발 및 테스트 목적으로만 사용됩니다. 프로덕션 파이프라인 워크로드의 경우 외부 MySQL 데이터베이스에 연결 옵션을 선택하여 외부 MySQL 또는 MariaDB 데이터베이스를 사용합니다.

    • 외부 MySQL 데이터베이스에 연결을 선택하여 파이프라인 서버에서 액세스할 수 있는 외부 MySQL 또는 MariaDB 데이터베이스에 새 연결을 추가합니다.

      1. Host 필드에 데이터베이스의 호스트 이름을 입력합니다.
      2. 포트 필드에 데이터베이스의 포트를 입력합니다.
      3. Username 필드에 데이터베이스에 연결된 기본 사용자 이름을 입력합니다.
      4. 암호 필드에 기본 사용자 계정의 암호를 입력합니다.
      5. 데이터베이스 필드에 데이터베이스 이름을 입력합니다.
  7. 파이프라인 서버 구성 을 클릭합니다.

검증

프로젝트의 Pipelines 탭에서 다음을 수행합니다.

  • 파이프라인 가져오기 버튼을 사용할 수 있습니다.
  • 작업 메뉴를 클릭한 다음 파이프라인 서버 구성 보기를 클릭하면 파이프라인 서버 세부 정보가 표시됩니다.

1.1.1. 외부 Amazon RDS 데이터베이스를 사용하여 파이프라인 서버 구성

외부 RDS(Amazon Cryostatal Database Service) 데이터베이스를 사용하여 파이프라인 서버를 구성하려면 CA(인증 기관)에서 발급한 인증서를 신뢰하도록 OpenShift AI를 구성해야 합니다.

중요

프로덕션 파이프라인 워크로드에 맞게 파이프라인 서버를 구성하는 경우 외부 MySQL 또는 MariaDB 데이터베이스를 사용하는 것이 좋습니다.

사전 요구 사항

  • OpenShift 클러스터에 대한 클러스터 관리자 권한이 있습니다.
  • Red Hat OpenShift AI에 로그인했습니다.
  • 파이프라인 서버를 추가할 수 있는 데이터 사이언스 프로젝트를 생성했습니다.
  • 기존 S3 호환 오브젝트 스토리지 버킷이 있으며 S3 버킷에 대한 쓰기 액세스 권한으로 스토리지 계정을 구성했습니다.

프로세스

  1. 파이프라인 서버를 구성하기 전에 Amazon RDS: Certificate bundle by AWS Region 에서 데이터베이스가 생성된 리전의 PEM 인증서 번들을 다운로드합니다.

    예를 들어 데이터베이스가 us-east-1 리전에서 생성된 경우 us-east-1-bundle.pem 을 다운로드합니다.

  2. 터미널 창에서 OpenShift AI가 배포된 OpenShift 클러스터에 로그인합니다.

    oc login api.<cluster_name>.<cluster_domain>:6443 --web
    Copy to Clipboard Toggle word wrap
  3. 다음 명령을 실행하여 현재 OpenShift AI 신뢰할 수 있는 CA 구성을 가져와 새 파일에 저장합니다.

    oc get dscinitializations.dscinitialization.opendatahub.io default-dsci -o json | jq '.spec.trustedCABundle.customCABundle' > /tmp/my-custom-ca-bundles.crt
    Copy to Clipboard Toggle word wrap
  4. 다음 명령을 실행하여 다운로드한 PEM 인증서 번들을 새 사용자 정의 CA 구성 파일에 추가합니다.

    cat us-east-1-bundle.pem >> /tmp/my-custom-ca-bundles.crt
    Copy to Clipboard Toggle word wrap
  5. 다음 명령을 실행하여 새 사용자 정의 CA 구성 파일에 포함된 CA에서 발급한 인증서를 신뢰하도록 OpenShift AI 신뢰할 수 있는 CA 구성을 업데이트합니다.

    oc patch dscinitialization default-dsci --type='json' -p='[{"op":"replace","path":"/spec/trustedCABundle/customCABundle","value":"'"$(awk '{printf "%s\\n", $0}' /tmp/my-custom-ca-bundles.crt)"'"}]'
    Copy to Clipboard Toggle word wrap
  6. 파이프라인 서버 구성에 설명된 대로 파이프라인 서버를 구성합니다.

검증

  • 파이프라인 서버가 성공적으로 시작됩니다.
  • 데이터 사이언스 파이프라인을 가져와서 실행할 수 있습니다.
맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat