3장. 기술 프리뷰 기능
이 섹션에서는 Red Hat OpenShift AI의 기술 프리뷰 기능에 대해 설명합니다. 기술 프리뷰 기능은 Red Hat 프로덕션 서비스 수준 계약(SLA)에서 지원되지 않으며 기능적으로 완전하지 않을 수 있습니다. Red Hat은 프로덕션 환경에서 사용하는 것을 권장하지 않습니다. 이러한 기능을 사용하면 향후 제품 기능을 조기에 이용할 수 있어 개발 과정에서 고객이 기능을 테스트하고 피드백을 제공할 수 있습니다.
Red Hat 기술 프리뷰 기능의 지원 범위에 대한 자세한 내용은 기술 프리뷰 기능 지원 범위를 참조하십시오.
- R Cryostat 서버 노트북 이미지
R Cryostat Server laptop 이미지를 사용하면 R용 통합 개발 환경인 R Cryostat IDE에 액세스할 수 있습니다. R 프로그래밍 언어는 통계 컴퓨팅 및 그래픽으로 데이터 분석 및 예측을 지원하는 데 사용됩니다.
R Cryostat Server laptop 이미지를 사용하려면 먼저 시크릿을 생성하고
BuildConfig를 트리거하여 빌드한 다음rstudio-rhel9이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.중요면책 조항: Red Hat은 OpenShift AI에서 워크벤치 관리를 지원합니다. 그러나 Red Hat은 R Cryostat 소프트웨어에 대한 지원을 제공하지 않습니다. R Cryostat Server는 rstudio.org 를 통해 사용할 수 있으며 라이선스 조건이 적용됩니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
- CUDA - R Cryostat 서버 노트북 이미지
CUDA - R Cryostat 서버 노트북 이미지를 사용하면 R Cryostat IDE 및 NVIDIA CUDA Toolkit에 액세스할 수 있습니다. R Cryostat IDE는 통계 컴퓨팅 및 그래픽을 위한 R 프로그래밍 언어를 위한 통합 개발 환경입니다. NVIDIA CUDA 툴킷을 사용하면 GPU 가속 라이브러리 및 최적화 도구를 사용하여 작업을 개선할 수 있습니다.
CUDA - R Cryostat Server 노트북 이미지를 사용하려면 먼저 시크릿을 생성하고
BuildConfig를 트리거하여 빌드한 다음rstudio-rhel9이미지 스트림을 편집하여 OpenShift AI UI에서 활성화해야 합니다. 자세한 내용은 R Cryostat Server 워크벤치 이미지 빌드를 참조하십시오.중요면책 조항: Red Hat은 OpenShift AI에서 워크벤치 관리를 지원합니다. 그러나 Red Hat은 R Cryostat 소프트웨어에 대한 지원을 제공하지 않습니다. R Cryostat Server는 rstudio.org 를 통해 사용할 수 있으며 라이선스 조건이 적용됩니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
CUDA - R Cryostat 서버 노트북 이미지에는 NVIDIA CUDA 기술이 포함되어 있습니다. CUDA 라이센스 정보는 CUDA Toolkit 설명서에서 확인할 수 있습니다. 이 샘플 워크벤치를 사용하기 전에 라이센스 조건을 검토해야 합니다.
- AMD GPU 지원
- AMD ROCm 워크벤치 이미지는 AMD GPU(그래픽 처리 장치) Operator에 대한 지원이 추가되어 컴퓨팅 집약적인 작업의 처리 성능을 크게 향상시킵니다. 이 기능을 사용하면 AI 워크로드와 다양한 모델을 지원하는 드라이버, 개발 툴 및 API에 액세스할 수 있습니다. 또한 AMD ROCm 워크벤치 이미지에는 TensorFlow 및 PyTorch와 같은 AI 프레임워크를 지원하는 머신러닝 라이브러리가 포함되어 있습니다. 기술 프리뷰 릴리스에서는 AMD GPU로 사용 사례를 제공 및 교육하거나 조정하는 데 사용할 수 있는 이미지에 대한 액세스도 제공합니다.
- 모델 레지스트리
- OpenShift AI에서 Model Registry Operator를 지원합니다. Model Registry Operator는 기본적으로 기술 프리뷰 모드에 설치되지 않습니다. 모델 레지스트리는 초기부터 배포까지 머신 러닝 모델과 관련된 메타데이터를 포함하는 중앙 저장소입니다.
- 플랫폼을 제공하는 NVIDIA NIM 모델
NVIDIA NIM 모델 제공 플랫폼을 사용하면 OpenShift AI의 NVIDIA NIM 추론 서비스를 사용하여 NVIDIA 최적화된 모델을 배포할 수 있습니다. NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 클라우드, 데이터 센터 및 워크스테이션에 걸쳐 고성능 AI 모델 추론의 안전하고 안정적인 배포를 위해 설계된 사용하기 쉬운 마이크로 서비스 집합입니다. 오픈 소스 커뮤니티 및 NVIDIA AI Foundation 모델을 포함한 다양한 AI 모델을 지원하여 업계 표준 API를 활용하여 원활하고 확장 가능한 AI 추론, 온프레미스 또는 클라우드에서 지원합니다. OpenShift AI에서 NVIDIA NIM 모델 제공 플랫폼을 활성화하려면 NVIDIA AI Enterprise 라이센스 키가 필요합니다.
자세한 내용은 About the NVIDIA NIM model serving platform 을 참조하십시오.
- 모델 스토리지를 위한 OCI 컨테이너
OCI 스토리지를 모델 서비스용 클라우드 스토리지 서비스의 대안으로 사용할 수 있습니다. 먼저 모델을 포함할 OCI 컨테이너 이미지를 생성합니다. 이미지는 Quay와 같은 OCI 호환 레지스트리에 업로드됩니다. 나중에 모델을 배포할 때 플랫폼 제공 플랫폼은 컨테이너화된 모델의 리포지토리를 참조합니다.
OCI 컨테이너를 사용하면 다음과 같은 이점을 제공할 수 있습니다.
- 클러스터가 다운로드한 이미지의 캐시를 유지하므로 시작 시간이 단축되었습니다. 모델 포드를 다시 시작해도 모델이 다시 다운로드되지 않습니다.
- Pod가 동일한 노드에 예약된다고 가정하면 각 Pod 복제본에서 모델이 다운로드되지 않으므로 디스크 공간 사용량이 줄어듭니다.
- 이미지 또는 비동기 로드를 미리 가져올 때 성능이 향상됩니다.
- 호환성 및 통합은 KServe와 쉽게 통합될 수 있기 때문입니다. 추가 종속성이 필요하지 않으며 인프라를 이미 사용할 수 있을 수 있습니다.
- 매우 큰 모델의 다중 노드 배포 지원
- 단일 모델 제공 런타임을 사용할 때 여러 GPU(그래픽 처리 장치) 노드에 모델을 제공하는 기능을 기술 프리뷰 기능으로 사용할 수 있습니다. 여러 GPU 노드에 모델을 배포하여 대용량 언어 모델(LLM)과 같은 대규모 모델을 배포할 때 효율성을 개선합니다. 자세한 내용은 여러 GPU 노드에 모델 배포를 참조하십시오.
- Intel Gaudi 3 액셀러레이터 지원
- Intel Gaudi 3 액셀러레이터에 대한 지원은 이제 기술 프리뷰 기능으로 제공됩니다. KServe 런타임을 지원하는 Gaudi 액셀러레이터를 지원하는 vLLM ServingRuntime 은 Intel Gaudi 액셀러레이터를 지원하는 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임입니다. 자세한 내용은 단일 모델 제공 플랫폼에 모델 배포를 참조하십시오.
