第 4 章 监控模型 bias

流程

1. 可选： 要设置 TRUSTY_ROUTE 变量，请按照以下步骤操作。

   1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

      oc login

      Copy to Clipboard Toggle word wrap

   2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

      TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

      Copy to Clipboard Toggle word wrap
2. 在 OpenShift AI 仪表板的左侧菜单中，单击 Model Serving。
3. 在 Deployed models 页面中，从下拉列表中选择您的项目。
4. 点您要为其配置 bias 指标的模型名称。
5. 在模型的指标页面上，单击 Model bias 选项卡。
6. 单击 Configure。

7. 在 Configure bias metrics 对话框中，完成以下步骤以配置 bias 指标：

   1. 在 Metric name 字段中，为您的 bias 指标输入唯一名称。请注意，以后您无法更改此指标的名称。
   2. 从 Metric type 列表中，选择 OpenShift AI 中提供的一个指标类型。

   3. 在 Protected 属性 字段中，在您要监控的模型中键入要监控的属性名称。

      提示

      您可以使用 curl 命令查询元数据端点，并查看输入属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.inputSchema"

   4. 在 Privileged value 字段中，为您指定的 protected 属性输入特权组的名称。
   5. 在 Unprivileged value 字段中，为您指定的 protected 属性输入非特权组的名称。

   6. 在 Output 字段中，键入您要监控的模型结果的名称。

      提示

      您可以使用 curl 命令查询元数据端点，并查看输出属性名称和值。例如： curl -H "Authorization: Bearer $TOKEN" $TRUSTY_ROUTE/info | jq ".[0].data.outputSchema"

   7. 在 Output value 字段中，键入您要监控 bias 的结果值。
   8. 在 Violation threshold 字段中，输入您选择的指标类型的 bias 阈值。此阈值定义指定指标从指标公平值到多少，然后模型被视为计费。
   9. 在 Metric batch size 字段中，键入 OpenShift AI 包括每次计算指标时的模型 inferences 数。

8. 确保您输入的值正确。

   注意

   您不能在创建模型后编辑模型 bias 指标配置。相反，您可以复制指标，然后编辑（配置）它；但是，原始指标的历史记录不会应用到副本。

9. 单击 Configure。

流程

1. 在终端窗口中，登录部署了 OpenShift AI 的 OpenShift 集群。

   oc login

   Copy to Clipboard Toggle word wrap

2. 将 TRUSTY_ROUTE 变量设置为 TrustyAI 服务 pod 的外部路由。

   TRUSTY_ROUTE=https://$(oc get route/trustyai-service --template={{.spec.host}})

   Copy to Clipboard Toggle word wrap

3. （可选）获取 TrustyAI 服务端点和有效负载的完整列表。

   curl -H "Authorization: Bearer $TOKEN" --location $TRUSTY_ROUTE/q/openapi

   Copy to Clipboard Toggle word wrap

4. 使用 POST /metrics/group/fairness/spd/request 来调度重复的 bias 监控指标，语法和有效负载结构：

   语法 ：

   curl -sk -H "Authorization: Bearer $TOKEN" -X POST --location $TRUSTY_ROUTE/metrics/spd/request \
    --header 'Content-Type: application/json' \
    --data <payload>

   Copy to Clipboard Toggle word wrap

   有效负载结构 ：

   modelId

   要查询的模型的名称。

   protectedAttribute

   可区分您要检查的组的特性名称。

   privilegedAttribute

   怀疑更倾向于（混合）课程。

   unprivilegedAttribute

   怀疑无疑（假假）类。

   outcomeName

   提供您要检查输出的输出名称。

   favorableOutcome

   描述可替代或所需模型预测的 result Name 输出值。

   batchSize

   计算中包含的前差异数量。

流程

1. 在 OpenShift AI 仪表板的左侧菜单中，单击 Model Serving。
2. 在 Deployed model 页面中，单击带有您要重复的 bias 指标的模型 名称。
3. 在模型的指标页面上，单击 Model bias 选项卡。
4. 单击 Configure。
5. 在 Bias 指标配置 页面中，点您要复制的指标旁的操作菜单(rules)，然后点 Duplicate。

6. 在 Configure bias 指标 对话框中，按照以下步骤操作：

   1. 在 Metric name 字段中，为您的 bias 指标输入唯一名称。请注意，以后您无法更改此指标的名称。
   2. 根据需要更改字段的值。有关这些字段的描述，请参阅使用 仪表板创建双向指标。
7. 确保您输入的值正确，然后单击 Configure。