Red Hat Summit2.2. 기능 개선
2.2.1. Red Hat OpenShift AI 2.16.2의 개선 사항 (25년 3월)
- vLLM Gaudi을 1.20 릴리스로 업그레이드
- vLLM은 이제 Intel Gaudi Operator의 버전 1.20을 지원합니다. 결과적으로 사용자는 vLLM 런타임을 활용하고LLM( Large Language Models)을 효율적으로 배포할 수 있습니다.
2.2.2. Red Hat OpenShift AI 2.16.1의 개선 사항 (25년 1월)
이 릴리스에서는 개선 사항이 없습니다.
2.2.3. Red Hat OpenShift AI 2.16.0의 개선 사항 (2024년 12월)
- 사용자 정의 연결 유형
- 관리자는 향상된 연결 기능을 사용하여 데이터베이스와 같은 데이터 소스에 대한 사용자 지정 연결을 구성하여 사용자가 모델 개발을 위해 데이터에 더 쉽게 액세스할 수 있습니다. 또한 사용자는 URI 기반 리포지토리의 기본 제공 연결 유형 덕분에 모델 서비스용 Hugging eyes와 같은 리포지토리의 모델에 액세스할 수 있습니다.
- NVIDIA Triton Inference Server 버전 24.10 런타임: 추가 모델 테스트 및 검증
NVIDIA Triton Inference Server 버전 24.10 런타임은 KServe(REST 및 gRPC) 및 ModelMesh(REST) 둘 다에 대해 다음과 같은 모델로 테스트되었습니다.
- FIL(Arival Inference Library)
- Python
- TensorRT
- 분산 워크로드: 테스트 및 검증된 추가 교육 이미지
몇 가지 추가 교육 이미지가 테스트 및 검증됩니다.
ROCm 호환 KFTO 클러스터 이미지
새로운 ROCm 호환 KFTO 클러스터 이미지
quay.io/modh/ Cryostat:py311-rocm61-torch241이 테스트 및 검증됩니다. 이 이미지는 ROCm 6.1에서 지원하는 AMD 액셀러레이터와 호환됩니다.ROCm 호환 Cryostat 클러스터 이미지
이전에 개발자 프리뷰 기능으로 사용 가능한 ROCm 호환 Cryostat 클러스터 이미지
quay.io/modh/ray:2.35.0-py39-rocm61및quay.io/modh/ray:2.35.0-py311-rocm61. 이러한 이미지는 ROCm 6.1에서 지원하는 AMD 액셀러레이터와 호환됩니다.CUDA 호환 KFTO 이미지
이전에 Developer Preview 기능으로 제공되는 CUDA 호환 KFTO 클러스터 이미지가 테스트 및 검증되었습니다. 이제 새 위치에서 이미지를 사용할 수 있습니다
. quay.io/modh/ Cryostat:py311-cuda121-torch241. 이 이미지는 CUDA 12.1에서 지원하는 NVIDIA GPU와 호환됩니다.
이러한 이미지는 AMD64 이미지이며 다른 아키텍처에서 작동하지 않을 수 있습니다. Red Hat OpenShift AI에서 사용 가능한 최신 교육 이미지에 대한 자세한 내용은 Red Hat OpenShift AI 지원 구성을 참조하십시오.
- Red Hat OpenShift AI Operator에 대한 검색 용어 개선
OpenShift 콘솔의 관리자 화면에서 Operator > OperatorHub 페이지에서 키워드 검색 필드에 다음 용어를 입력하여 Red Hat OpenShift AI Operator를 확인할 수 있습니다.
-
AI -
RHOAI -
OAI -
ML -
머신 학습 -
데이터 과학 -
ODH -
데이터 허브 열기
-
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}