4장. 모니터링 모델 거부

프로세스

1. 선택 사항: TRUSTY_ROUTE 변수를 설정하려면 다음 단계를 따르십시오.

   1. 터미널 창에서 OpenShift AI가 배포된 OpenShift 클러스터에 로그인합니다.

      oc login

      Copy to Clipboard Toggle word wrap

   2. TRUSTY_ROUTE 변수를 TrustyAI 서비스 pod의 외부 경로로 설정합니다.

      TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

      Copy to Clipboard Toggle word wrap
2. OpenShift AI 대시보드의 왼쪽 메뉴에서 Model Serving 을 클릭합니다.
3. 배포 모델 페이지의 드롭다운 목록에서 프로젝트를 선택합니다.
4. 무분별 메트릭을 구성할 모델의 이름을 클릭합니다.
5. 모델의 메트릭 페이지에서 모델 편향 탭을 클릭합니다.
6. 구성 을 클릭합니다.

7. Configure density metrics dialog 에서 다음 단계를 완료하여 조정 메트릭을 구성합니다.

   1. Metric 이름 필드에 조정 메트릭에 대한 고유한 이름을 입력합니다. 나중에 이 메트릭의 이름을 변경할 수 없습니다.
   2. Metric 유형 목록에서 OpenShift AI에서 사용할 수 있는 지표 유형 중 하나를 선택합니다.

   3. protected 특성 필드에 무차별을 모니터링하려는 모델의 특성 이름을 입력합니다.In the Cryostated attribute field, type the name of an attribute in your model that you want to monitor for density.

      작은 정보

      curl 명령을 사용하여 메타데이터 엔드포인트를 쿼리하고 입력 특성 이름과 값을 볼 수 있습니다. 예: curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].inputSchema"

   4. Privileged value 필드에 사용자가 지정한 보호된 속성의 권한 있는 그룹의 이름을 입력합니다.
   5. Unprivileged value 필드에 사용자가 지정한 보호된 속성의 권한이 없는 그룹의 이름을 입력합니다.

   6. 출력 필드에 편향을 모니터링할 모델 결과의 이름을 입력합니다.

      작은 정보

      curl 명령을 사용하여 메타데이터 엔드포인트를 쿼리하고 출력 특성 이름과 값을 볼 수 있습니다. 예: curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].outputSchema"

   7. 출력 값 필드에 편향을 모니터링할 결과의 값을 입력합니다.
   8. Violation threshold 필드에 선택한 메트릭 유형에 대한 가정 임계값을 입력합니다. 이 임계값 값은 모델이 의도하지 않은 것으로 간주되기 전에 지정된 메트릭이 메트릭의 공정값에서 얼마나 멀리 떨어져 있는지 정의합니다.
   9. Metric 배치 크기 필드에 OpenShift AI가 메트릭을 계산할 때마다 모델 유추 수를 입력합니다.

8. 입력한 값이 올바른지 확인합니다.

   참고

   모델 편향 메트릭 구성을 생성한 후에는 편집할 수 없습니다. 대신 지표를 복제한 다음 편집(구성)할 수 있지만 원래 메트릭의 기록은 복사에 적용되지 않습니다.

9. 구성 을 클릭합니다.

프로세스

1. 터미널 창에서 OpenShift AI가 배포된 OpenShift 클러스터에 로그인합니다.

   oc login

   Copy to Clipboard Toggle word wrap

2. TRUSTY_ROUTE 변수를 TrustyAI 서비스 pod의 외부 경로로 설정합니다.

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

   Copy to Clipboard Toggle word wrap

3. 선택적으로 TrustyAI 서비스 엔드 포인트 및 페이로드의 전체 목록을 가져옵니다.

   curl -H "Authorization: Bearer $TOKEN" --location $TRUSTY_ROUTE/q/openapi

   Copy to Clipboard Toggle word wrap

4. POST /metrics/group/fairness/spd/request 를 사용하여 다음 구문 및 페이로드 구조를 사용하여 반복 반복적 모니터링 메트릭을 예약합니다.

   구문:

   curl -sk -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/metrics/spd/request \
    --header 'Content-Type: application/json' \
    --data <payload>

   Copy to Clipboard Toggle word wrap

   페이로드 구조:

   modelId

   쿼리할 모델의 이름입니다.

   protectedAttribute

   공정성을 확인하는 그룹을 구분하는 기능의 이름입니다.

   privilegedAttribute

   의심되는 호의는 (아마도 반대되는) 클래스입니다.

   unprivilegedAttribute

   의심되는 unfavored (negatively actsed) 클래스입니다.

   outcomeName

   공정성을 검사하는 출력을 제공하는 출력의 이름입니다.

   favorableOutcome

   바람직한 모델 예측 또는 원하는 모델 예측을 설명하는 outcomeName 출력의 값입니다.

   batchSize

   계산에 포함할 이전 유추 수입니다.

프로세스

1. OpenShift AI 대시보드의 왼쪽 메뉴에서 Model Serving 을 클릭합니다.
2. 배포 모델 페이지에서 복제하려는 조정 메트릭이 있는 모델의 이름을 클릭합니다.
3. 모델의 메트릭 페이지에서 모델 편향 탭을 클릭합니다.
4. 구성 을 클릭합니다.
5. Bias 지표 구성 페이지에서 복사할 메트릭 옆에 있는 작업 메뉴( Cryostat)를 클릭한 다음 중복 을 클릭합니다.

6. 조정 메트릭 구성 대화 상자에서 다음 단계를 따르십시오.

   1. Metric 이름 필드에 조정 메트릭에 대한 고유한 이름을 입력합니다. 나중에 이 메트릭의 이름을 변경할 수 없습니다.
   2. 필요에 따라 필드의 값을 변경합니다. 이러한 필드에 대한 설명은 대시보드를 사용하여 감시 메트릭 생성을 참조하십시오.
7. 입력한 값이 올바른지 확인한 다음 Configure 를 클릭합니다.