第 4 章 监控模型 bias

流程

1. 可选：要设置 TRUSTY_ROUTE 变量，请按照以下步骤操作。

   1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

      oc login

   2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

      TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

2. 在 OpenShift AI 仪表板的左侧菜单中，点 Models Model deployments。
3. 在 Model deployments 页面中，从下拉列表中选择您的项目。
4. 点您要为其配置 bias 指标的模型名称。
5. 在模型的指标页面中，点 Model bias 选项卡。
6. 单击 Configure。

7. 在 Configure bias 指标 对话框中，完成以下步骤来配置 bias 指标：

   1. 在 Metric name 字段中，为您的 bias 指标输入一个唯一名称。请注意，您无法稍后更改此指标的名称。
   2. 从 Metric type 列表中，选择 OpenShift AI 中提供的一个指标类型。

   3. 在 Protected attribute 字段中，键入您要监控 bias 的模型中的属性名称。

      提示

      您可以使用 curl 命令查询元数据端点并查看输入属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.inputSchema"

   4. 在 Privileged value 字段中，为您指定的 protected 属性输入特权组的名称。
   5. 在 Unprivileged value 字段中，为您指定的 protected 属性键入非特权用户的名称。

   6. 在 Output 字段中，输入您要监控的模型结果的名称。

      提示

      您可以使用 curl 命令查询元数据端点并查看输出属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.outputSchema"

   7. 在 Output value 字段中，键入您要监控 bias 的结果值。
   8. 在 Violation threshold 字段中，为所选指标类型输入 bias 阈值。此阈值定义在模型被视为计费前，指定的指标的公平值如何来自公平值。
   9. 在 Metric batch size 字段中，键入 OpenShift AI 每次计算指标时所包含的模型数量。

8. 确保输入的值正确。

   注意

   您无法在创建模型 bias 指标配置后编辑模型 bias 指标配置。相反，您可以复制指标，然后编辑（配置）它；但是，原始指标的历史记录不会应用到副本。

9. 单击 Configure。

流程

1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

   oc login

2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

3. （可选）获取 TrustyAI 服务端点和有效负载的完整列表。

   curl -H "Authorization: Bearer $TOKEN" --location $TRUSTY_ROUTE/q/openapi

4. 使用 POST /metrics/group/fairness/spd/request 来调度重复的 bias 监控指标，语法和有效负载结构：

   语法 ：

   curl -sk -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/metrics/group/fairness/spd/request  \
    --header 'Content-Type: application/json' \
    --data <payload>

   有效负载结构 ：

   modelId

   要查询的模型的名称。

   protectedAttribute

   区分您要检查的组的功能名称。

   privilegedAttribute

   怀疑被选择（可能为 biased）课程。

   unprivilegedAttribute

   可怀疑的未发布（非正）类。

   outcomeName

   提供您要检查的输出的名称。

   favorableOutcome

   描述 favorable 或 desired 模型预测的 results Name 输出的值。

   batchSize

   计算中要包含的前一个影响的数量。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，点 Models Model deployments。
2. 在 Model deployments 页面中，单击带有您要重复的 bias 指标的模型名称。
3. 在模型的指标页面中，点 Model bias 选项卡。
4. 单击 Configure。
5. 在 Bias 指标配置 页面中，点击您要复制的指标旁的操作菜单(RCU)，然后点 Duplicate。

6. 在 Configure bias 指标 对话框中，执行以下步骤：

   1. 在 Metric name 字段中，为您的 bias 指标输入一个唯一名称。请注意，您无法稍后更改此指标的名称。
   2. 根据需要更改字段的值。有关这些字段的描述，请参阅使用 仪表板创建双向指标。
7. 确保输入的值正确，然后单击 配置。