2장. 새로운 기능 및 개선 사항
이 섹션에서는 Red Hat OpenShift AI 2.16.1의 새로운 기능 및 개선 사항에 대해 설명합니다.
2.1. Red Hat OpenShift AI 2.16.1의 새로운 기능 (25년 1월)
- AMD GPU 지원
- AMD ROCm 워크벤치 이미지는 AMD GPU(그래픽 처리 장치) Operator에 대한 지원이 추가되어 컴퓨팅 집약적인 작업의 처리 성능을 크게 향상시킵니다. 이 기능을 사용하면 AI 워크로드와 다양한 모델을 지원하는 드라이버, 개발 툴 및 API에 액세스할 수 있습니다. 또한 AMD ROCm 워크벤치 이미지에는 TensorFlow 및 PyTorch와 같은 AI 프레임워크를 지원하는 머신러닝 라이브러리가 포함되어 있습니다. 이 기능은 AMD GPU를 사용하여 서비스 제공 및 교육 또는 튜닝 사용 사례를 살펴보는 데 사용할 수 있는 이미지에 대한 액세스도 제공합니다.
이번 OpenShift AI 릴리스는 연결이 끊긴 환경에서 AMD GPU 및 AMD ROCm 워크벤치 이미지를 지원하지 않습니다.
- 플랫폼을 제공하는 NVIDIA NIM 모델
NVIDIA NIM 모델 제공 플랫폼을 사용하면 OpenShift AI의 NVIDIA NIM 추론 서비스를 사용하여 NVIDIA 최적화된 모델을 배포할 수 있습니다. NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 클라우드, 데이터 센터 및 워크스테이션에 걸쳐 고성능 AI 모델 추론의 안전하고 안정적인 배포를 위해 설계된 사용하기 쉬운 마이크로 서비스 집합입니다. NVIDIA NIM은 오픈 소스 커뮤니티 및 NVIDIA AI Foundation 모델을 포함한 다양한 AI 모델을 지원하여 업계 표준 API를 활용하여 원활하고 확장 가능한 AI 추론, 온-프레미스 또는 클라우드에서 지원합니다.
자세한 내용은 About the NVIDIA NIM model serving platform 을 참조하십시오.
- Intel Gaudi 3 액셀러레이터 지원
- Intel Gaudi 3 액셀러레이터에 대한 지원이 제공됩니다. KServe 런타임을 지원하는 Gaudi 액셀러레이터를 지원하는 vLLM ServingRuntime 은 Intel Gaudi 액셀러레이터를 지원하는 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임입니다. 자세한 내용은 단일 모델 제공 플랫폼에 모델 배포를 참조하십시오.
- Language Model Evaluation as a Service
새로운 오케스트레이터를 통해 안전하고 확장 가능한 언어 모델 평가 서비스(LM-Eval-aaS)를 배포할 수 있습니다. 오픈 소스 툴을 활용하여 이 서비스는 업계 표준 및 독점 벤치마크를 사용하여 효율적이고 안전한 모델 평가를 위해 lm-evaluation-harness 를 Unitxt 작업 카드와 통합합니다.
LM-Eval-aaS에는 다음과 같은 주요 기능이 포함되어 있습니다.
- 오케스트레이터 배포 자산: LM-Eval-aaS 오케스트레이터를 배포 및 관리하기 위한 초기 자산입니다.
- 작업 카드 통합: 사용자 지정 사전 처리 및 평가 워크플로를 정의하기 위해 Unitxt 작업 카드를 지원합니다.
- 벤치마킹 지원: 표준 및 독점 평가 벤치마크와의 호환성.
자세한 내용은 대규모 언어 모델 평가를 참조하십시오.
