监控数据科学模型

流程

1. 打开一个新的终端窗口。

2. 按照以下步骤，以集群管理员身份登录到 OpenShift 集群：

   1. 在 OpenShift Web 控制台中，单击您的用户名并选择 Copy login command。
   2. 登录后，单击 Display token。

   3. 使用此令牌命令复制登录，并将它粘贴到 OpenShift 命令行界面(CLI)中。

      $ oc login --token=<token> --server=<openshift_cluster_url>

3. 导航到包含数据科学家要监控的模型的数据科学项目。

   oc project <project_name>

   例如：

   oc project my-project

4. 创建 TrustyAIService 自定义资源(CR)文件，如 trustyai_crd.yaml ：

   TrustyAI 使用数据库的 CR 文件示例

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: TrustyAIService
   metadata:
     name: trustyai-service 

   1

   
   spec:
     storage:
   	  format: "DATABASE" 

   2

   
   	  size: "1Gi" 

   3

   
   	  databaseConfigurations: <database_secret_credentials> 

   4

   
     metrics:
     	schedule: "5s" 

   5

   1

   TrustyAI 服务实例的名称。

   2

   数据的存储格式，可以是 DATABASE 或 PVC （持久性卷声明）。红帽建议您使用数据库设置来提高 TrustyAI 中的可扩展性、性能和数据管理。

   3

   要请求的数据大小。

   4

   使用您在 配置 TrustyAI 使用数据库 时创建的数据库 凭证的 secret 名称。例如，db-credentials。

   5

   计算指标的间隔。默认值为 5s。持续时间使用 ISO-8601 格式指定。例如，5s 代表 5 秒，5m 代表 5 分钟，5h 代表 5 小时。

   使用 PVC 的 TrustyAI 的 CR 文件示例

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: TrustyAIService
   metadata:
     name: trustyai-service 

   1

   
   spec:
     storage:
   	  format: "PVC" 

   2

   
   	  folder: "/inputs" 

   3

   
   	  size: "1Gi" 

   4

   
     data:
   	  filename: "data.csv" 

   5

   
   	  format: "CSV" 

   6

   
     metrics:
     	schedule: "5s" 

   7

   
     	batchSize: 5000 

   8

   1

   TrustyAI 服务实例的名称。

   2

   数据的存储格式，可以是 DATABASE 或 PVC （持久性卷声明）。

   3

   要存储数据的 PVC 中的位置。

   4

   要请求的 PVC 的大小。

   5

   存储的数据文件的后缀。

   6

   数据格式。目前，只支持以逗号分隔的值(CSV)格式。

   7

   计算指标的间隔。默认值为 5s。持续时间使用 ISO-8601 格式指定。例如，5s 代表 5 秒，5m 代表 5 分钟，5h 代表 5 小时。

   8

   （可选）观察用于指标计算的历史窗口大小。默认值为 5000，这意味着指标使用 5,000 个 latest inferences 计算。

5. 将 TrustyAI 服务的 CR 添加到您的项目中：

   oc apply -f trustyai_crd.yaml

   这个命令返回类似如下的输出：

   trusty-service created

流程

1. 可选： 要设置 TRUSTY_ROUTE 变量，请按照以下步骤操作。

   1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

      oc login

   2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

      TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

2. 在 OpenShift AI 仪表板的左侧菜单中，单击 Model Serving。
3. 在 Deployed models 页面中，从下拉列表中选择您的项目。
4. 点您要为其配置 bias 指标的模型名称。
5. 在模型的指标页面上，单击 Model bias 选项卡。
6. 单击 Configure。

7. 在 Configure bias metrics 对话框中，完成以下步骤以配置 bias 指标：

   1. 在 Metric name 字段中，为您的 bias 指标输入唯一名称。请注意，以后您无法更改此指标的名称。
   2. 从 Metric type 列表中，选择 OpenShift AI 中提供的一个指标类型。

   3. 在 Protected 属性 字段中，在您要监控的模型中键入要监控的属性名称。

      提示

      您可以使用 curl 命令查询元数据端点，并查看输入属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.inputSchema"

   4. 在 Privileged value 字段中，为您指定的 protected 属性输入特权组的名称。
   5. 在 Unprivileged value 字段中，为您指定的 protected 属性输入非特权组的名称。

   6. 在 Output 字段中，键入您要监控的模型结果的名称。

      提示

      您可以使用 curl 命令查询元数据端点，并查看输出属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.outputSchema"

   7. 在 Output value 字段中，键入您要监控 bias 的结果值。
   8. 在 Violation threshold 字段中，输入您选择的指标类型的 bias 阈值。此阈值定义指定指标从指标公平值到多少，然后模型被视为计费。
   9. 在 Metric batch size 字段中，键入 OpenShift AI 包括每次计算指标时的模型 inferences 数。

8. 确保您输入的值正确。

   注意

   您不能在创建模型后编辑模型 bias 指标配置。相反，您可以复制指标，然后编辑（配置）它；但是，原始指标的历史记录不会应用到副本。

9. 单击 Configure。

流程

1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

   oc login

2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

3. （可选）获取 TrustyAI 服务端点和有效负载的完整列表。

   curl -H "Authorization: Bearer $TOKEN" --location $TRUSTY_ROUTE/q/openapi

4. 使用 POST /metrics/group/fairness/spd/request 来调度重复的 bias 监控指标，语法和有效负载结构：

   语法 ：

   curl -sk -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/metrics/spd/request \
    --header 'Content-Type: application/json' \
    --data <payload>

   有效负载结构 ：

   modelId

   要查询的模型的名称。

   protectedAttribute

   可区分您要检查的组的特性名称。

   privilegedAttribute

   怀疑更倾向于（混合）课程。

   unprivilegedAttribute

   怀疑无疑（假假）类。

   outcomeName

   提供您要检查输出的输出名称。

   favorableOutcome

   描述可替代或所需模型预测的 result Name 输出值。

   batchSize

   计算中包含的前差异数量。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Model Serving。
2. 在 Deployed model 页面中，单击带有您要重复的 bias 指标的模型 名称。
3. 在模型的指标页面上，单击 Model bias 选项卡。
4. 单击 Configure。
5. 在 Bias 指标配置 页面中，点您要复制的指标旁的操作菜单(rules)，然后点 Duplicate。

6. 在 Configure bias 指标 对话框中，按照以下步骤操作：

   1. 在 Metric name 字段中，为您的 bias 指标输入唯一名称。请注意，以后您无法更改此指标的名称。
   2. 根据需要更改字段的值。有关这些字段的描述，请参阅使用 仪表板创建双向指标。
7. 确保您输入的值正确，然后单击 Configure。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Model Serving。
2. 在 Deployed model 页面中，单击带有您要删除的 bias 指标的模型 名称。
3. 在模型的指标页面上，单击 Model bias 选项卡。
4. 单击 Configure。
5. 点您要删除的指标旁的操作菜单(WWN)，然后点 Delete。

6. 在 Delete bias 指标 对话框中，键入指标名称以确认删除。

   注意

   您无法撤销删除 bias 指标。

7. 单击 Delete bias 指标。

流程

1. 打开一个新的终端窗口。

2. 按照以下步骤登录到 OpenShift 集群：

   1. 在 OpenShift Web 控制台右上角，单击您的用户名，然后选择 Copy login command。
   2. 登录后，单击 Display token。

   3. 使用此令牌命令复制登录，并将它粘贴到 OpenShift 命令行界面(CLI)中。

      $ oc login --token=<token> --server=<openshift_cluster_url>

3. 在 OpenShift CLI 中，获取到 TrustyAI 服务的路由：

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

4. 可选： 要列出指标的所有当前活跃请求，请使用 GET /metrics/{{metric}}/requests。例如，要列出所有当前调度的 SPD 指标，请输入：

   curl -H "Authorization: Bearer $TOKEN" -X GET --location "$TRUSTY_ROUTE/metrics/spd/requests"

   或者，要列出所有当前调度的指标请求，请使用 GET /metrics/all/requests。

   curl -H "Authorization: Bearer $TOKEN" -X GET --location "$TRUSTY_ROUTE/metrics/all/requests"

5. 要删除指标，请将 HTTP DELETE 请求发送到 /metrics/$METRIC/request 端点，以停止定期计算，包括要在有效负载中取消的定期任务 ID。例如：

   curl -H "Authorization: Bearer $TOKEN" -X DELETE --location "$TRUSTY_ROUTE/metrics/spd/request" \
       -H "Content-Type: application/json" \
       -d "{
             \"requestId\": \"3281c891-e2a5-4eb3-b05d-7f3831acbb56\"
           }"

流程

1. 打开一个新的终端窗口。

2. 按照以下步骤登录到 OpenShift 集群：

   1. 在 OpenShift Web 控制台右上角，单击您的用户名，然后选择 Copy login command。
   2. 登录后，单击 Display token。

   3. 使用此令牌命令复制登录，并将它粘贴到 OpenShift 命令行界面(CLI)中。

      $ oc login --token=<token> --server=<openshift_cluster_url>

3. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

4. （可选）获取 TrustyAI 服务端点和有效负载的完整列表。

   curl -H "Authorization: Bearer $TOKEN" --location $TRUSTY_ROUTE/q/openapi

5. 使用 POST /metrics/drift/meanshift/request 来调度带有以下语法和有效负载结构的重复偏移监控指标：

   语法 ：

   curl -k -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/metrics/drift/meanshift/request \
    --header 'Content-Type: application/json' \
    --data <payload>

   有效负载结构 ：

   modelId

   要监控的模型的名称。

   referenceTag

   用作参考分发的数据。

流程

1. 要为 huggingface 模型启动评估作业，请应用以下 YAML 文件：

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: LMEvalJob
   metadata:
     name: evaljob-sample
   spec:
     model: hf
     modelArgs:
     - name: pretrained
       value: huggingfacespace/model
     taskList:
       taskNames:
       - unfair_tos/
     logSamples: true
     pod:
       container:
         env:
         - name: HF_TOKEN
           value: "My HuggingFace token"

2. （可选）您还可以创建一个 secret 来存储令牌，然后使用以下引用语法从 secretKeyRef 对象中引用密钥：

   env:
     - name: HF_TOKEN
       valueFrom:
         secretKeyRef:
           name: my-secret
           key: hf-token

流程

1. 以 JSON 格式传递自定义 Unitxt 卡：

   apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: LMEvalJob
   metadata:
     name: evaljob-sample
   spec:
     model: hf
     modelArgs:
     - name: pretrained
       value: google/flan-t5-base
     taskList:
       taskRecipes:
       - template: "templates.classification.multi_class.relation.default"
         card:
           custom: |
             {
               "__type__": "task_card",
               "loader": {
                 "__type__": "load_hf",
                 "path": "glue",
                 "name": "wnli"
               },
               "preprocess_steps": [
                 {
                   "__type__": "split_random_mix",
                   "mix": {
                     "train": "train[95%]",
                     "validation": "train[5%]",
                     "test": "validation"
                   }
                 },
                 {
                   "__type__": "rename",
                   "field": "sentence1",
                   "to_field": "text_a"
                 },
                 {
                   "__type__": "rename",
                   "field": "sentence2",
                   "to_field": "text_b"
                 },
                 {
                   "__type__": "map_instance_values",
                   "mappers": {
                     "label": {
                       "0": "entailment",
                       "1": "not entailment"
                     }
                   }
                 },
                 {
                   "__type__": "set",
                   "fields": {
                     "classes": [
                       "entailment",
                       "not entailment"
                     ]
                   }
                 },
                 {
                   "__type__": "set",
                   "fields": {
                     "type_of_relation": "entailment"
                   }
                 },
                 {
                   "__type__": "set",
                   "fields": {
                     "text_a_type": "premise"
                   }
                 },
                 {
                   "__type__": "set",
                   "fields": {
                     "text_b_type": "hypothesis"
                   }
                 }
               ],
               "task": "tasks.classification.multi_class.relation",
               "templates": "templates.classification.multi_class.relation.all"
             }
     logSamples: true

2. 在自定义卡中，指定 Hugging Face dataset 加载程序：

   "loader": {
                 "__type__": "load_hf",
                 "path": "glue",
                 "name": "wnli"
               },

3. （可选）您可以使用其他 Unitxt 加载程序（可在 Unitxt 网站中找到），其中包含 卷和 volumeMounts 参数从持久性卷挂载数据集。例如，如果使用 LoadCSV Unitxt 命令，请将文件挂载到容器，并使 dataset 可供评估过程访问。

流程

1. 定义 LMEvalJob CR:

     apiVersion: trustyai.opendatahub.io/v1alpha1
   kind: LMEvalJob
   metadata:
     name: evaljob
   spec:
     model: local-completions
     taskList:
       taskNames:
         - mmlu
     logSamples: true
     batchSize: 1
     modelArgs:
       - name: model
         value: granite
       - name: base_url
         value: $ROUTE_TO_MODEL/v1/completions
       - name: num_concurrent
         value:  "1"
       - name: max_retries
         value:  "3"
       - name: tokenized_requests
         value: "False"
       - name: tokenizer
         value: ibm-granite/granite-7b-instruct
    env:
      - name: OPENAI_TOKEN
        valueFrom:
             secretKeyRef:
               name: <secret-name>
               key: token

2. 将此 CR 应用到与您的模型相同的命名空间中。