Red Hat Summit2장. 새로운 기능 및 개선 사항
이 섹션에서는 Red Hat OpenShift AI 2.17의 새로운 기능 및 개선 사항에 대해 설명합니다.
2.1. 새로운 기능
- NVIDIA NIM 메트릭 지원
이제 NVIDIA NIM 모델 제공 플랫폼에 배포된 NIM 모델에 대한 메트릭을 볼 수 있습니다. 다음 메트릭을 사용할 수 있습니다.
- 시간 경과에 따른 GPU 캐시 사용량
- 현재 실행 중, 대기 및 최대 요청 수
- 토큰 수
- 첫 번째 토큰까지의 시간
- 출력 토큰당 시간
- 요청 결과
자세한 내용은 About the NVIDIA NIM model serving platform 을 참조하십시오.
참고
2.17의 새 배포에 대해 NIM 메트릭이 자동으로 활성화됩니다. 이전 버전의 Red Hat OpenShift AI에서 2.17으로 업그레이드하고 기존 NIM 배포가 있는 경우 배포에 대해 NIM 메트릭을 수동으로 활성화해야 합니다. 자세한 내용은 NVIDIA NIM 모델 제공 플랫폼 설명서를 참조하십시오.
