데이터 과학 모델 모니터링

프로세스

1. 터미널 창에서 클러스터 관리자로 OpenShift 클러스터에 로그인하지 않은 경우 다음 예와 같이 OpenShift CLI에 로그인합니다.

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 다음 콘텐츠를 사용하여 uwm-cm-conf.yaml 이라는 YAML 파일에 ConfigMap 오브젝트를 정의합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: user-workload-monitoring-config
     namespace: openshift-user-workload-monitoring
   data:
     config.yaml: |
       prometheus:
         logLevel: debug
         retention: 15d

   Copy to Clipboard Toggle word wrap

   user-workload-monitoring-config 오브젝트는 사용자 정의 프로젝트를 모니터링하는 구성 요소를 구성합니다. 보존 시간이 권장 15일의 값으로 설정되어 있는지 확인합니다.

3. 구성을 적용하여 user-workload-monitoring-config 오브젝트를 생성합니다.

   $ oc apply -f uwm-cm-conf.yaml

   Copy to Clipboard Toggle word wrap

4. 다음 콘텐츠를 사용하여 uwm-cm-enable.yaml 이라는 YAML 파일에 다른 ConfigMap 오브젝트를 정의합니다.

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: cluster-monitoring-config
     namespace: openshift-monitoring
   data:
     config.yaml: |
       enableUserWorkload: true

   Copy to Clipboard Toggle word wrap

   cluster-monitoring-config 오브젝트를 사용하면 사용자 정의 프로젝트를 모니터링할 수 있습니다.

5. 구성을 적용하여 cluster-monitoring-config 오브젝트를 생성합니다.

   $ oc apply -f uwm-cm-enable.yaml

   Copy to Clipboard Toggle word wrap

프로세스

1. OpenShift 콘솔에서 Operator → 설치된 Operator 를 클릭합니다.
2. Red Hat OpenShift AI Operator를 검색한 다음 Operator 이름을 클릭하여 Operator 세부 정보 페이지를 엽니다.
3. Data Science Cluster 탭을 클릭합니다.
4. 기본 인스턴스 이름(예: default-dsc)을 클릭하여 인스턴스 세부 정보 페이지를 엽니다.
5. YAML 탭을 클릭하여 인스턴스 사양을 표시합니다.

6. spec:components 섹션에서 trustyai 구성 요소의 managementState 필드를 Managed 로 설정합니다.

    trustyai:
       managementState: Managed

   Copy to Clipboard Toggle word wrap
7. 저장을 클릭합니다.

1. OpenShift 콘솔의 프로젝트 목록에서 redhat-ods-applications 를 선택합니다.
2. 워크로드 → 배포를 클릭합니다.

3. trustyai-service-operator-contoller-manager 배포를 검색합니다. 상태를 확인합니다.

   1. 배포 이름을 클릭하여 배포 세부 정보 페이지를 엽니다.
   2. 포드 탭을 클릭합니다.

   3. Pod 상태를 확인합니다.

      trustyai-service-operator-controller-manager- <pod-id > Pod의 상태가 Running 이면 Pod를 사용할 준비가 된 것입니다.

프로세스

1. 터미널 창에서 클러스터 관리자로 OpenShift 클러스터에 로그인하지 않은 경우 다음 예와 같이 OpenShift CLI에 로그인합니다.

   $ oc login <openshift_cluster_url> -u <admin_username> -p <password>

   Copy to Clipboard Toggle word wrap

2. 선택 사항: TrustyAI와 데이터베이스 간에 TLS 연결을 사용하려면 데이터베이스에 사용하려는 것과 동일한 인증서를 사용하는 TrustyAI 서비스 데이터베이스 TLS 시크릿을 만듭니다.

   1. TLS 시크릿을 포함할 YAML 파일을 생성하고 다음 코드를 추가합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: <service_name>-db-tls
      type: kubernetes.io/tls
      data:
        tls.crt: |
          <TLS CERTIFICATE>
      
        tls.key: |
          <TLS KEY>

      Copy to Clipboard Toggle word wrap
   2. 파일 이름 < service_name> -db-tls.yaml 을 사용하여 파일을 저장합니다. 예를 들어 서비스 이름이 trustyai-service 인 경우 파일을 trustyai-service-db-tls.yaml 로 저장합니다.

   3. 데이터 분석 프로젝트에서 모니터링하려는 모델이 포함된 YAML 파일을 적용합니다.

      $ oc apply -f <service_name>-db-tls.yaml -n <project_name>

      Copy to Clipboard Toggle word wrap

3. 데이터베이스 인증 정보가 있는 시크릿을 생성하거나 기존 보안을 지정합니다.

   1. 보안을 포함할 YAML 파일을 생성하고 다음 코드를 추가합니다.

      apiVersion: v1
      kind: Secret
      metadata:
        name: db-credentials
      type: Opaque
      stringData:
        databaseKind: <mariadb> 

      1

      
        databaseUsername: <TrustyAI_username> 

      2

      
        databasePassword: <TrustyAI_password> 

      3

      
        databaseService: mariadb-service 

      4

      
        databasePort: 3306 

      5

      
        databaseGeneration: update 

      6

      
        databaseName: trustyai_service 

      7

      Copy to Clipboard Toggle word wrap

      1

      현재 지원되는 유일한 databaseKind 값은 mariadb 입니다.

      2

      TrustyAI가 데이터베이스와 상호 작용할 때 사용할 사용자 이름입니다.

      3

      데이터베이스에 연결할 때 TrustyAI에서 사용해야 하는 암호입니다.

      4

      데이터베이스에 연결할 때 TrustyAI가 사용해야 하는 Kubernetes(K8s) 서비스(기본 mariadb)입니다.

      5

      TrustyAI가 데이터베이스에 연결할 때 사용해야 하는 포트입니다(기본값은 3306임).

      6

      TrustyAI에서 사용할 데이터베이스 스키마 생성 전략입니다. 이는 trustyAI가 초기 연결에서 데이터베이스와 상호 작용하는 방식을 결정하는 quarkus.hibernate-orm.database.generation 인수의 설정입니다. none,create,drop-and-create,drop,update 또는 validate 로 설정합니다.

      7

      사용자 이름과 암호가 인증하는 데이터베이스 서비스 내 개별 데이터베이스의 이름과 TrustyAI가 데이터베이스 서버에서 읽고 써야 하는 특정 데이터베이스 이름입니다.

   2. 파일 이름 db-credentials.yaml 을 사용하여 파일을 저장합니다. 나중에 TrustyAI 서비스를 설치하거나 변경할 때 이 이름이 필요합니다.

   3. 데이터 분석 프로젝트에서 모니터링하려는 모델이 포함된 YAML 파일을 적용합니다.

      $ oc apply -f db-credentials.yaml -n <project_name>

      Copy to Clipboard Toggle word wrap

4. If you are installing TrustyAI for the first time on a project, continue to Installing the TrustyAI service for a project.

   이미 프로젝트에 TrustyAI를 설치한 경우 기존 TrustyAI 서비스를 PVC를 사용하여 데이터베이스를 사용하여 마이그레이션할 수 있습니다.

   1. YAML 파일을 생성하여 TrustyAI 서비스 CR(사용자 정의 리소스)을 업데이트하고 다음 코드를 추가합니다.

      apiVersion: trustyai.opendatahub.io/v1alpha1
      kind: TrustyAIService
      metadata:
        annotations:
          trustyai.opendatahub.io/db-migration: "true" 

      1

      
        name: trustyai-service 

      2

      
      spec:
        storage:
          format: "DATABASE" 

      3

      
          folder: "/inputs" 

      4

      
            size: "1Gi" 

      5

      
          databaseConfigurations: <database_secret_credentials> 

      6

      
        data:
          filename: "data.csv" 

      7

      
        metrics:
          schedule: "5s" 

      8

      Copy to Clipboard Toggle word wrap

      1

      PVC에서 데이터베이스 스토리지로 마이그레이션을 요청하려면 true 로 설정합니다.

      2

      TrustyAI 서비스 인스턴스의 이름입니다.

      3

      데이터의 스토리지 형식입니다. 이 필드를 DATABASE 로 설정합니다.

      4

      데이터를 저장한 PVC 내의 위치입니다. 기존 CR에 지정된 값과 일치해야 합니다.

      5

      요청할 데이터의 크기입니다.

      6

      이전 단계에서 생성한 데이터베이스 인증 정보가 있는 시크릿의 이름입니다. 예를 들면 db-credentials 입니다.

      7

      저장된 기존 데이터 파일의 접미사입니다. 기존 CR에 지정된 값과 일치해야 합니다.

      8

      메트릭을 계산하는 간격입니다. 기본값은 5s입니다. 기간은 ISO-8601 형식으로 지정됩니다. 예를 들어 5 초 동안 5초, 5분 동안 5m, 5시간 동안 5 시간은 5시간입니다.

   2. 파일을 저장합니다. 예를 들면 trustyai_crd.yaml 입니다.

   3. 새로운 TrustyAI 서비스 CR을 데이터 가 모니터링하려는 모델이 포함된 데이터 사이언스 프로젝트에 적용합니다.

      $ oc apply -f trustyai_crd.yaml -n <project_name>

      Copy to Clipboard Toggle word wrap

프로세스

1. 새 터미널 창을 엽니다.

2. 다음 단계에 따라 OpenShift 클러스터에 로그인합니다.

   1. OpenShift 웹 콘솔의 오른쪽 상단에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   2. 로그인한 후 토큰 표시를 클릭합니다.

   3. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

3. 다음 명령을 입력하여 OpenShift에서 사용자 토큰 변수를 설정합니다.

   export TOKEN=$(oc whoami -t)

   Copy to Clipboard Toggle word wrap

프로세스

1. TRUSTY_ROUTE 변수를 TrustyAI 서비스 pod의 외부 경로로 설정합니다.

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

   Copy to Clipboard Toggle word wrap
2. 배포된 모델의 유추 끝점 액세스에 설명된 대로 배포된 모델 의 유추 끝점을 가져옵니다.
3. 이 엔드포인트에 데이터를 보냅니다. 자세한 내용은 KServe v2 유추 프로토콜 설명서를 참조하십시오.

1. OpenShift 웹 콘솔에 로그인합니다.
2. 개발자 화면으로 전환합니다.
3. 왼쪽 메뉴에서 모니터링 을 클릭합니다.
4. 지표 페이지에서 쿼리 선택 목록을 클릭한 다음 사용자 지정 쿼리 를 선택합니다.
5. Expression 필드에 trustyai_model_observations_total 을 입력하고 Enter를 누릅니다. 모델이 나열되고 관찰된 유추를 보고해야 합니다.
6. 선택 사항: 그래프 위의 목록에서 시간 범위를 선택합니다. 예를 들어 5m 을 선택합니다.

프로세스

1. 새 터미널 창을 엽니다.

2. 다음 단계에 따라 OpenShift 클러스터에 로그인합니다.

   1. OpenShift 웹 콘솔의 오른쪽 상단에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   2. 로그인한 후 토큰 표시를 클릭합니다.

   3. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

3. OpenShift CLI에서 TrustyAI 서비스로의 경로를 가져옵니다.

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

   Copy to Clipboard Toggle word wrap

4. TrustyAI의 모델 메타데이터를 검사하려면 /info 끝점을 쿼리합니다.

   curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data"

   Copy to Clipboard Toggle word wrap

   이렇게 하면 각 모델에 대해 다음 정보가 포함된 JSON 파일이 출력됩니다.

   • 입력 필드 및 출력 필드의 이름, 데이터 유형 및 위치입니다.
   • 관찰된 필드 값입니다.
   • 관찰된 총 입력 출력 쌍 수입니다.

5. POST /info/names 를 사용하여 다음 예제와 유사하게 이름 매핑을 필드에 적용합니다.

   model-name,original-name 및 Prediction 값을 모델에 사용된 값으로 변경합니다. 새 이름 값을 사용하려는 레이블로 변경합니다.

   curl -sk -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/info/names \
     -H "Content-Type: application/json"   \
     -d "{
       \"modelId\": \"model-name\",
       \"inputMapping\":
         {
           \"original-name-0\": \"New name 0\",
           \"original-name-1\": \"New name 1\",
           \"original-name-2\": \"New name 2\",
           \"original-name-3\": \"New name 3\",
         },
       \"outputMapping\": {
         \"predict-0\": \"Prediction 0\"
       }
     }"

   Copy to Clipboard Toggle word wrap

   다른 예제는 https://github.com/trustyai-explainability/odh-trustyai-demos/blob/main/2-BiasMonitoring/kserve-demo/scripts/apply_name_mapping.sh 을 참조하십시오.

프로세스

1. OpenShift AI 대시보드에서 Model Serving 을 클릭합니다.
2. 배포 모델 페이지에서 의도하지 않은 메트릭을 볼 모델의 이름을 클릭합니다.
3. 모델의 메트릭 페이지에서 모델 편향 탭을 클릭합니다.

4. 페이지에 표시된 메트릭을 업데이트하려면 다음 단계를 따르십시오.

   1. 표시할 메트릭 섹션에서 지표 선택 목록을 사용하여 페이지에 표시할 지표를 선택합니다.

      참고

      페이지에 표시할 메트릭을 선택할 때마다 추가 메트릭 선택 목록이 표시됩니다. 이를 통해 페이지에 여러 메트릭을 표시할 수 있습니다.

   2. 오른쪽 상단에 있는 시간 범위 목록에서 값을 선택합니다.

   3. 오른쪽 상단에 있는 Refresh interval 목록에서 값을 선택합니다.

      메트릭 페이지에는 선택한 지표가 표시됩니다.

5. 선택 사항: 페이지에서 메트릭을 하나 이상 제거하려면 Metrics 섹션에서 다음 작업 중 하나를 수행합니다.

   • 개별 메트릭을 제거하려면 메트릭 이름 옆에 있는 취소 아이콘(임의)을 클릭합니다.
   • 모든 메트릭을 제거하려면 메트릭 선택 목록에서 취소 아이콘( Cryostat)을 클릭합니다.
6. 선택 사항: 모델의 비합격 지표 구성으로 돌아가려면 메트릭 페이지에서 오른쪽 상단에서 구성 을 클릭합니다.

프로세스

1. 새 터미널 창을 엽니다.

2. 다음 단계에 따라 OpenShift 클러스터에 로그인합니다.

   1. OpenShift 웹 콘솔에서 사용자 이름을 클릭하고 로그인 복사 명령을 선택합니다.
   2. 로그인한 후 토큰 표시를 클릭합니다.

   3. 이 토큰 명령으로 로그인을 복사하여 OpenShift CLI(명령줄 인터페이스)에 붙여넣습니다.

      $ oc login --token=<token> --server=<openshift_cluster_url>

      Copy to Clipboard Toggle word wrap

3. OpenShift CLI에서 TrustyAI 서비스로의 경로를 가져옵니다.

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

   Copy to Clipboard Toggle word wrap

4. 선택 사항: 메트릭에 대한 현재 활성화된 모든 요청을 나열하려면 GET /metrics/{{metric}}/requests 를 사용합니다. 예를 들어 현재 예약된 MeanShift 메트릭을 모두 나열하려면 다음을 입력합니다.

   curl -k -H "Authorization: Bearer $TOKEN" -X GET --location "$TRUSTY_ROUTE/metrics/drift/meanshift/requests"

   Copy to Clipboard Toggle word wrap

   또는 현재 예약된 모든 메트릭 요청을 나열하려면 GET /metrics/all/requests 를 사용합니다.

   curl -H "Authorization: Bearer $TOKEN" -X GET --location "$TRUSTY_ROUTE/metrics/all/requests"

   Copy to Clipboard Toggle word wrap

5. 지표를 삭제하려면 페이로드에서 취소하려는 주기적인 작업의 id를 포함하여 정기적인 계산을 중지하도록 HTTP DELETE 요청을 /metrics/$METRIC/request 끝점에 보냅니다. 예를 들면 다음과 같습니다.

   curl -k -H "Authorization: Bearer $TOKEN" -X DELETE --location "$TRUSTY_ROUTE/metrics/drift/meanshift/request" \
       -H "Content-Type: application/json" \
       -d "{
             \"requestId\": \"$id\"
           }"

   Copy to Clipboard Toggle word wrap

프로세스

1. OpenShift 웹 콘솔에 로그인합니다.
2. 개발자 화면으로 전환합니다.
3. 왼쪽 메뉴에서 모니터링 을 클릭합니다.
4. Red Hat OpenShift Dedicated에서 프로젝트 메트릭 모니터링 또는 AWS의 Red Hat OpenShift Service의 프로젝트 메트릭 모니터링에 설명된 대로 웹 콘솔을 사용하여 trustyai_* 메트릭에 대한 쿼리를 실행합니다.