3장. 기술 프리뷰 기능

이제 LAB-tuning이 기술 프리뷰 기능으로 제공되므로 데이터 과학자는 대규모 언어 모델(LLM)을 사용자 정의할 수 있도록 엔드 투 엔드 워크플로를 실행할 수 있습니다. LAB(Large-scale Alignment for chatBots) 방법은 taxonomy-guided 합성 데이터 생성(SDG) 및 다단계 교육 접근 방식을 활용하여 기존의 미세 조정에 대한 보다 효율적인 대안을 제공합니다.

데이터 과학자는 튜닝 프로세스를 단순화하는 새로운 사전 구성된 InstructLab 파이프라인을 사용하여 OpenShift AI 대시보드에서 직접 LAB-tuning 워크플로를 실행할 수 있습니다. LAB-tuning 활성화 및 사용에 대한 자세한 내용은 LAB 튜닝을 사용한 모델 활성화 및 사용자 지정을 참조하십시오.

Red Hat OpenShift AI 모델 카탈로그는 이제 기술 프리뷰 기능으로 제공됩니다. 이 기능은 Granite 모델 제품군과 사용자를 연결하는 것뿐만 아니라 LAB 튜닝에 사용되는 마스터 및 판단 모델로부터 시작됩니다.

이제 Red Hat OpenShift AI Operator에서 기능 저장소를 구성 가능한 구성 요소로 설치하고 관리할 수 있습니다. 기능 저장소는 오픈 소스 Feast 프로젝트를 기반으로 ML 모델과 데이터 간의 브리지 역할을 하여 ML 라이프사이클 전반에 걸쳐 일관되고 확장 가능한 기능 관리를 지원합니다.

이 기술 프리뷰 릴리스에는 다음과 같은 기능이 도입되었습니다.

이제 하드웨어 프로필을 기술 프리뷰로 사용할 수 있습니다. 하드웨어 프로필 기능을 사용하면 사용자가 워크벤치 또는 모델 서비스 워크로드를 위해 특정 작업자 노드를 대상으로 지정할 수 있습니다. 사용자가 특정 가속기 유형 또는 CPU 전용 노드를 대상으로 지정할 수 있습니다.

이 기능은 현재 액셀러레이터 프로파일과 컨테이너 크기 선택기 필드를 대체하여 다양한 하드웨어 구성을 대상으로 하는 광범위한 기능을 제공합니다. 액셀러레이터 프로필, 테인트 및 톨러레이션은 워크로드에 일치하는 일부 기능을 하드웨어로 제공하는 반면, 특히 일부 노드에 적절한 테인트가 없는 경우 워크로드가 특정 노드에 배치되도록 보장할 수 없습니다.

하드웨어 프로필 기능은 노드 선택기와 함께 액셀러레이터 및 CPU 전용 구성을 모두 지원하여 특정 작업자 노드의 대상 지정 기능을 향상시킵니다. 관리자는 설정 메뉴에서 하드웨어 프로필을 구성할 수 있습니다. 사용자는 UI를 사용하여 워크벤치, 모델 제공 및 데이터 사이언스 파이프라인을 사용하여 활성화된 프로필을 선택할 수 있습니다.

클러스터 관리자는 Kueue local-queue 식별자로 ECDSA 클러스터 및 PyTorchJob 리소스의 필수 레이블을 적용하는 데 Validating Admission Policy 기능을 사용할 수 있습니다. 이 라벨링을 사용하면 리소스 경합을 방지하고 운영 효율성을 개선하는 대기열 관리 정책에 따라 워크로드가 적절하게 분류되고 라우팅됩니다.

local-queue 레이블 지정 정책이 적용되면 Cryostat 클러스터 및 PyTorchJobs는 로컬 큐를 사용하도록 구성된 경우에만 생성되고 Cryostat 클러스터 및 PyTorchJob 리소스는 Kue에 의해 관리됩니다. 로컬 큐 레이블 정책은 기본적으로 모든 프로젝트에 적용되지만 일부 또는 모든 프로젝트에서 비활성화할 수 있습니다. 로컬 큐 레이블 지정 정책에 대한 자세한 내용은 로컬 대기열 사용을 참조하십시오.

R Cryostat Server 워크벤치 이미지를 사용하면 R용 통합 개발 환경인 R Cryostat IDE에 액세스할 수 있습니다. R 프로그래밍 언어는 통계 컴퓨팅 및 그래픽으로 데이터 분석 및 예측을 지원하는 데 사용됩니다.

R Cryostat Server 워크벤치 이미지를 사용하려면 먼저 시크릿을 생성하고 BuildConfig 를 트리거하여 빌드한 다음 rstudio-rhel9 이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.

CUDA - R Cryostat 서버 워크벤치 이미지를 사용하면 R Cryostat IDE 및 NVIDIA CUDA Toolkit에 액세스할 수 있습니다. R Cryostat IDE는 통계 컴퓨팅 및 그래픽을 위한 R 프로그래밍 언어를 위한 통합 개발 환경입니다. NVIDIA CUDA 툴킷을 사용하면 GPU 가속 라이브러리 및 최적화 도구를 사용하여 작업을 개선할 수 있습니다.

CUDA - R Cryostat Server 워크벤치 이미지를 사용하려면 먼저 시크릿을 생성하고 BuildConfig 를 트리거하여 빌드한 다음 rstudio-rhel9 이미지 스트림을 편집하여 OpenShift AI UI에서 활성화합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.