2장. 새로운 기능 및 개선 사항

AMD ROCm 워크벤치 이미지는 AMD GPU(그래픽 처리 장치) Operator에 대한 지원이 추가되어 컴퓨팅 집약적인 작업의 처리 성능을 크게 향상시킵니다. 이 기능을 사용하면 AI 워크로드와 다양한 모델을 지원하는 드라이버, 개발 툴 및 API에 액세스할 수 있습니다. 또한 AMD ROCm 워크벤치 이미지에는 TensorFlow 및 PyTorch와 같은 AI 프레임워크를 지원하는 머신러닝 라이브러리가 포함되어 있습니다. 이 기능은 AMD GPU를 사용하여 서비스 제공 및 교육 또는 튜닝 사용 사례를 살펴보는 데 사용할 수 있는 이미지에 대한 액세스도 제공합니다.

NVIDIA NIM 모델 제공 플랫폼은 OpenShift AI에서 NVIDIA NIM 추론 서비스를 사용하여 NVIDIA 최적화된 모델 배포에 대한 지원을 추가합니다. NVIDIA AI Enterprise의 일부인 NVIDIA NIM은 클라우드, 데이터 센터 및 워크스테이션에 걸쳐 고성능 AI 모델 추론의 안전하고 안정적인 배포를 위해 설계된 사용하기 쉬운 마이크로 서비스 집합입니다. NVIDIA NIM은 오픈 소스 커뮤니티 및 NVIDIA AI Foundation 모델을 포함한 다양한 AI 모델을 지원하여 업계 표준 API를 활용하여 원활하고 확장 가능한 AI 추론, 온-프레미스 또는 클라우드에서 지원합니다.

자세한 내용은 About the NVIDIA NIM model serving platform 을 참조하십시오.

Intel Gaudi 3 액셀러레이터에 대한 지원이 제공됩니다. KServe 런타임을 지원하는 Gaudi 액셀러레이터를 지원하는 vLLM ServingRuntime 은 Intel Gaudi 액셀러레이터를 지원하는 높은 처리량 및 메모리 효율적인 추론 및 제공 런타임입니다.

자세한 내용은 Intel Gaudi 액셀러레이터를 참조하십시오.

새로운 오케스트레이터를 통해 안전하고 확장 가능한 언어 모델 평가 서비스(LM-Eval-aaS)를 배포할 수 있습니다. 오픈 소스 툴을 활용하여 이 서비스는 업계 표준 및 독점 벤치마크를 사용하여 효율적이고 안전한 모델 평가를 위해 lm-evaluation-harness 를 Unitxt 작업 카드와 통합합니다.

LM-Eval-aaS에는 다음과 같은 주요 기능이 포함되어 있습니다.

자세한 내용은 대규모 언어 모델 평가를 참조하십시오.

KServe 런타임용 vLLM ServingRuntime을 사용하여 Marlin 커널에 대해 수량화된 모델을 배포할 수 있습니다. 모델이 Marlin에 대해 정량화되면 vLLM은 기본 하드웨어를 기반으로 Marlin 커널을 자동으로 사용합니다. 다른 정량화된 모델의 경우 --quantization=marlin custom 매개변수를 사용할 수 있습니다.

지원되는 하드웨어에 대한 자세한 내용은 vLLM 웹 사이트의 지원되는 하드웨어 버전 커널 을 참조하십시오.

이전에 기술 프리뷰 기능으로 사용 가능한 Red Hat OpenShift AI에 포함된 코드 서버 워크벤치 이미지를 일반적으로 사용할 수 있습니다. 자세한 내용은 코드 서버에서 작업을 참조하십시오.

code-server 워크벤치 이미지를 사용하면 다양한 확장 기능을 사용하여 새 언어, 테마, 디버거를 추가하고 추가 서비스에 연결하여 워크벤치 환경을 사용자 지정할 수 있습니다. 또한 구문 강조, 자동 입력 및 브래킷 일치로 데이터 과학 작업의 효율성을 향상시킬 수 있습니다.