Red Hat Summit Red Hat Summit지원콘솔개발자평가판 시작연락처

3.2. NIM 모델에 대한 NVIDIA NIM 메트릭 보기

OpenShift AI에서는 NVIDIA NIM 모델 제공 플랫폼에 배포된 NIM 모델에 대해 다음 NVIDIA NIM 메트릭을 확인할 수 있습니다.

  • 시간 경과에 따른 GPU 캐시 사용량 (ms)
  • 현재 실행 중, 대기 및 최대 요청 수
  • 토큰 수
  • 첫 번째 토큰까지의 시간
  • 출력 토큰당 시간
  • 요청 결과

이러한 메트릭의 시간 범위 및 새로 고침 간격을 지정하면 지정된 시간에 최대 사용 시간과 모델 성능을 결정하는 데 도움이 됩니다.

사전 요구 사항

  • NVIDIA NIM 모델 제공 플랫폼을 활성화했습니다.
  • NIM 모델을 NVIDIA NIM 모델 제공 플랫폼에 배포했습니다.
  • 클러스터 관리자가 배포에 대해 메트릭 수집 및 그래프 생성을 활성화했습니다.

  • disableKServeMetrics OpenShift AI 대시보드 구성 옵션은 기본값 false 로 설정됩니다. 

    disableKServeMetrics: false
    Copy to Clipboard Toggle word wrap

    대시보드 구성 옵션 설정에 대한 자세한 내용은 대시보드 사용자 지정을 참조하십시오.

프로세스

  1. OpenShift AI 대시보드 탐색 메뉴에서 프로젝트를 클릭합니다.

    프로젝트 페이지가 열립니다.

  2. 모니터링할 NIM 모델이 포함된 프로젝트의 이름을 클릭합니다.
  3. 프로젝트 세부 정보 페이지에서 Deployments 탭을 클릭합니다.
  4. 관찰할 NIM 모델을 클릭합니다.

  5. NIM 지표 탭에서 다음 옵션을 설정합니다.

    • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
    • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
  6. 아래로 스크롤하여 NIM 메트릭의 데이터 그래프를 봅니다.

검증

NIM 지표 탭에는 배포된 NIM 모델에 대한 NIM 메트릭 그래프가 표시되어 있습니다.

추가 리소스

맨 위로 이동
Red Hat logoGithubredditYoutubeTwitter

자세한 정보

평가판, 구매 및 판매

커뮤니티

Red Hat 문서 정보

Red Hat을 사용하는 고객은 신뢰할 수 있는 콘텐츠가 포함된 제품과 서비스를 통해 혁신하고 목표를 달성할 수 있습니다. 최신 업데이트를 확인하세요.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 언어를 교체하기 위해 최선을 다하고 있습니다. 자세한 내용은 다음을 참조하세요.Red Hat 블로그.

Red Hat 소개

Red Hat은 기업이 핵심 데이터 센터에서 네트워크 에지에 이르기까지 플랫폼과 환경 전반에서 더 쉽게 작업할 수 있도록 강화된 솔루션을 제공합니다.

Theme

© 2025 Red Hat