4.9. 모델 서버의 모든 모델에 대한 성능 지표 보기
모델 서버에 배포된 모든 모델에 대해 다음 메트릭을 모니터링할 수 있습니다.
- 5분당 HTTP 요청 - 서버의 모든 모델에 대해 실패하거나 성공한 HTTP 요청 수입니다.
- 평균 응답 시간(ms) - 서버의 모든 모델의 경우 요청에 응답하는 데 모델 서버가 걸리는 평균 시간입니다.
- CPU 사용률(%) - 서버의 모든 모델에서 현재 사용 중인 CPU 용량의 백분율입니다.
- 메모리 사용률(%) - 서버의 모든 모델에서 현재 사용 중인 시스템 메모리의 백분율입니다.
이러한 메트릭에 대한 시간 범위 및 새로 고침 간격을 지정하여 최대 사용 시간이 있고 지정된 시간에 모델이 수행하는 방법을 결정하는 데 도움이 됩니다.
사전 요구 사항
- Red Hat OpenShift AI를 설치했습니다.
- OpenShift AI가 설치된 OpenShift 클러스터에서 사용자 워크로드 모니터링이 활성화됩니다.
- Red Hat OpenShift AI에 로그인했습니다.
- 다중 모델 서비스 플랫폼에 모델을 배포했습니다.
프로세스
OpenShift AI 대시보드 탐색 메뉴에서 Data Science projects 를 클릭합니다.
데이터 사이언스 프로젝트 페이지가 열립니다.
- 모니터링할 데이터 과학 모델이 포함된 프로젝트의 이름을 클릭합니다.
- 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
- 관심 있는 모델 서버의 행에서 작업 메뉴( Cryostat)를 클릭한 다음 View model server metrics 를 선택합니다.
선택 사항: 모델 서버의 메트릭 페이지에서 다음 옵션을 설정합니다.
- 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
- 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
- 아래로 스크롤하여 5분당 HTTP 요청의 데이터 그래프, 평균 응답 시간, CPU 사용률, 메모리 사용률을 확인합니다.
검증
모델 서버의 메트릭 페이지에서 그래프는 성능 지표에 대한 데이터를 제공합니다.