Red Hat Summit3장. 기술 프리뷰 기능
이 섹션에서는 Red Hat OpenShift AI 2.19의 기술 프리뷰 기능에 대해 설명합니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. Red Hat은 프로덕션 환경에서 사용하는 것을 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
- IBM Power 및 IBM Z 아키텍처 지원
- IBM Power(ppc64le) 및 IBM Z(s390x) 아키텍처는 이제 기술 프리뷰 기능으로 지원됩니다. 현재 이러한 아키텍처에서 표준 모드로만 모델을 배포할 수 있습니다.
IBM Power 및 IBM Z 아키텍처 vLLM 런타임 템플릿에서 vLLM에 대한 지원은 IBM Power 및 IBM Z 아키텍처에서 기술 프리뷰로 사용할 수 있습니다.
- 노드 선택기를 사용하여 Red Hat OpenShift AI 대시보드의 특정 작업자 노드에 대해 대상 지정 워크벤치 배포를 활성화합니다.
이제 하드웨어 프로필을 기술 프리뷰로 사용할 수 있습니다. 하드웨어 프로필 기능을 사용하면 사용자가 워크벤치 또는 모델 서비스 워크로드를 위해 특정 작업자 노드를 대상으로 지정할 수 있습니다. 사용자가 특정 가속기 유형 또는 CPU 전용 노드를 대상으로 지정할 수 있습니다.
이 기능은 현재 액셀러레이터 프로파일과 컨테이너 크기 선택기 필드를 대체하여 다양한 하드웨어 구성을 대상으로 하는 광범위한 기능을 제공합니다. 액셀러레이터 프로필, 테인트 및 톨러레이션은 워크로드에 일치하는 일부 기능을 하드웨어로 제공하는 반면, 특히 일부 노드에 적절한 테인트가 없는 경우 워크로드가 특정 노드에 배치되도록 보장할 수 없습니다.
하드웨어 프로필 기능은 노드 선택기와 함께 액셀러레이터 및 CPU 전용 구성을 모두 지원하여 특정 작업자 노드의 대상 지정 기능을 향상시킵니다. 관리자는 설정 메뉴에서 하드웨어 프로필을 구성할 수 있습니다. 사용자는 UI를 사용하여 워크벤치, 모델 제공 및 데이터 사이언스 파이프라인을 사용하여 활성화된 프로필을 선택할 수 있습니다.
- distributed InstructLab 교육
InstructLab은 유전적 AI(gen AI) 애플리케이션에서 대규모 언어 모델(LLM)을 개선하기 위한 오픈 소스 프로젝트입니다. 합성 데이터 생성(SDG) 기술과 체계적인 분류를 사용하여 모델을 미세 조정하여 다양한 고품질 교육 데이터 세트를 생성합니다.
이제 InstructLab 파이프라인을 기술 프리뷰 기능으로 사용할 수 있으므로 OpenShift AI의 데이터 사이언스 파이프라인을 통해 전체 InstructLab 워크플로우를 실행할 수 있습니다. 이 파이프라인을 실행하는 사전 요구 사항 및 설정 지침은 Red Hat OpenShift AI에 대한 InstructLab 을 참조하십시오.
중요OpenShift AI 2.19에서 InstructLab 파이프라인을 사용하려면 NVIDIA GPU Operator 24.6이 설치되어 있어야 합니다.
- Cryostat 클러스터 생성에 대한 필수 Kue local-queue 레이블 지정 정책
클러스터 관리자는 Validating Admission Policy 기능을 사용하여 Kue local-queue identifiers로 Cryostat 클러스터 리소스의 필수 레이블을 적용할 수 있습니다. 이 라벨링을 사용하면 리소스 경합을 방지하고 운영 효율성을 개선하는 대기열 관리 정책에 따라 워크로드가 적절하게 분류되고 라우팅됩니다.
local-queue 레이블 지정 정책이 적용되면 로컬 큐를 사용하도록 구성된 경우에만 Cryostat 클러스터가 생성되고 Cryostat 클러스터 리소스는 Kue에 의해 관리됩니다. 로컬 큐 레이블 정책은 기본적으로 모든 프로젝트에 적용되지만 일부 또는 모든 프로젝트에서 비활성화할 수 있습니다. 로컬 큐 레이블 지정 정책에 대한 자세한 내용은 로컬 대기열 사용을 참조하십시오.
참고이 기능을 사용하면 이전에 Kue 로컬 큐를 사용하지 않은 사용자가 Cryostat 클러스터 리소스를 관리하지 않은 사용자에게 중단된 변경이 발생할 수 있습니다.
- R Cryostat 서버 노트북 이미지
R Cryostat Server laptop 이미지를 사용하면 R용 통합 개발 환경인 R Cryostat IDE에 액세스할 수 있습니다. R 프로그래밍 언어는 통계 컴퓨팅 및 그래픽으로 데이터 분석 및 예측을 지원하는 데 사용됩니다.
R Cryostat Server laptop 이미지를 사용하려면 먼저 시크릿을 생성하고
BuildConfig를 트리거하여 빌드한 다음rstudio-rhel9이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.중요면책 조항: Red Hat은 OpenShift AI에서 워크벤치 관리를 지원합니다. 그러나 Red Hat은 R Cryostat 소프트웨어에 대한 지원을 제공하지 않습니다. R Cryostat Server는 rstudio.org 를 통해 사용할 수 있으며 라이선스 조건이 적용됩니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
- CUDA - R Cryostat 서버 노트북 이미지
CUDA - R Cryostat 서버 노트북 이미지를 사용하면 R Cryostat IDE 및 NVIDIA CUDA Toolkit에 액세스할 수 있습니다. R Cryostat IDE는 통계 컴퓨팅 및 그래픽을 위한 R 프로그래밍 언어를 위한 통합 개발 환경입니다. NVIDIA CUDA 툴킷을 사용하면 GPU 가속 라이브러리 및 최적화 도구를 사용하여 작업을 개선할 수 있습니다.
CUDA - R Cryostat Server 노트북 이미지를 사용하려면 먼저 시크릿을 생성하고
BuildConfig를 트리거하여 빌드한 다음rstudio-rhel9이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.중요면책 조항: Red Hat은 OpenShift AI에서 워크벤치 관리를 지원합니다. 그러나 Red Hat은 R Cryostat 소프트웨어에 대한 지원을 제공하지 않습니다. R Cryostat Server는 rstudio.org 를 통해 사용할 수 있으며 라이선스 조건이 적용됩니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
CUDA - R Cryostat 서버 노트북 이미지에는 NVIDIA CUDA 기술이 포함되어 있습니다. CUDA 라이센스 정보는 CUDA Toolkit 설명서에서 확인할 수 있습니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
- 모델 레지스트리
- OpenShift AI에서 Model Registry Operator를 지원합니다. Model Registry Operator는 기본적으로 기술 프리뷰 모드에 설치되지 않습니다. 모델 레지스트리는 초기부터 배포까지 머신 러닝 모델과 관련된 메타데이터를 포함하는 중앙 저장소입니다.
- 매우 큰 모델의 다중 노드 배포 지원
- 단일 모델 제공 런타임을 사용할 때 여러 GPU(그래픽 처리 장치) 노드에 모델을 제공하는 기능을 기술 프리뷰 기능으로 사용할 수 있습니다. 여러 GPU 노드에 모델을 배포하여 대용량 언어 모델(LLM)과 같은 대규모 모델을 배포할 때 효율성을 개선합니다. 자세한 내용은 여러 GPU 노드에 모델 배포를 참조하십시오.
- keeprails Orchestrator 서비스 구성
선택적 Guardrails Orchestrator 구성은 이제 기술 프리뷰 기능으로 사용할 수 있습니다.
- regex 탐지기( built-in detect)
-
keeprails 게이트웨이(사용자 정의 리소스의
vllmGateway필드를 통해)
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}