2.4. 단일 모델 제공 플랫폼에서 모델 모니터링

프로세스

1. OpenShift AI 대시보드 탐색 메뉴에서 Data Science projects 를 클릭합니다.

   데이터 사이언스 프로젝트 페이지가 열립니다.

2. 모니터링할 데이터 과학 모델이 포함된 프로젝트의 이름을 클릭합니다.
3. 프로젝트 세부 정보 페이지에서 모델 탭을 클릭합니다.
4. 관심 있는 모델을 선택합니다.

5. 끝점 성능 탭에서 다음 옵션을 설정합니다.

   • 시간 범위 - 메트릭을 추적하는 기간을 지정합니다. 이 값 중 하나를 선택할 수 있습니다. 1 시간, 24 시간, 7 일 및 30 일.
   • 새로 고침 간격 - 메트릭 페이지의 그래프가 새로 고쳐지는 빈도를 지정합니다(최신 데이터를 표시). 이 값 중 하나를 선택할 수 있습니다: 15 초, 30 초, 1 분, 5 분, 15 분, 30 분, 1 시간, 2 시간, 1 일.
6. 아래로 스크롤하여 요청 수, 평균 응답 시간, CPU 사용률 및 메모리 사용률에 대한 데이터 그래프를 봅니다.

프로세스

1. OpenShift 웹 콘솔에 로그인합니다.
2. 개발자 화면으로 전환합니다.
3. 왼쪽 메뉴에서 모니터링 을 클릭합니다.

4. Red Hat OpenShift Dedicated에서 프로젝트 메트릭 모니터링 또는 AWS의 Red Hat OpenShift Service에서 프로젝트 메트릭 모니터링에 설명된 대로 웹 콘솔을 사용하여 cakeygent_* , tgi_* , ovms_* 및 vllm:* 모델-serving 런타임 메트릭에 대한 쿼리를 실행합니다. OpenShift Service Mesh와 관련된 istio_* 메트릭에 대한 쿼리를 실행할 수도 있습니다. 몇 가지 예가 표시되어 있습니다.

   1. 다음 쿼리는 vLLM 런타임으로 배포된 모델의 일정 기간 동안 성공적인 유추 요청 수를 표시합니다.

      sum(increase(vllm:request_success_total{namespace=${namespace},model_name=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap

   2. 다음 쿼리는 독립 실행형 TGIS 런타임으로 배포된 모델의 일정 기간 동안 성공적인 유추 요청 수를 표시합니다.

      sum(increase(tgi_request_success{namespace=${namespace}, pod=~${model_name}-predictor-.*}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap

   3. 다음 쿼리는 Cakeygent Standalone 런타임으로 배포된 모델의 일정 기간 동안 성공적인 유추 요청 수를 표시합니다.

      sum(increase(predict_rpc_count_total{namespace=${namespace},code=OK,model_id=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap

   4. 다음 쿼리는 OpenVINO 모델 서버 런타임으로 배포된 모델의 일정 기간 동안 성공적인 유추 요청 수를 표시합니다.

      sum(increase(ovms_requests_success{namespace=${namespace},name=${model_name}}[${rate_interval}]))

      Copy to Clipboard Toggle word wrap