4.4. 支持的 bias 指标
Red Hat OpenShift AI 支持以下 bias 指标:
- 统计差异
统计 Parity Difference (SPD)是非特权和特权组之间有合理的结果预测的差异。SPD 的正式定义如下:
- swig = 1 是可取而代的结果。
- Dwagon 和 D5- 4 是非特权和特权组数据。
您可以按如下方式解释 SPD 值:
-
值
0表示模型在所选属性(如 race, gender)接近。 -
range
-0.1到0.1表示模型对于所选属性来说是合理的。相反,您可以将概率与其它因素(如示例大小)不同。 -
range
-0.1到0.1以外的值表示模型对于所选属性是 unfair。 - 负值表示模型对非特权组有 bias。
- 正值表示,模型对特权组具有 bias。
- 不同的影响率
不同的影响率 (DIR)是非特权组到特权组的可合理结果预测的比例。DIR 的正式定义如下:
- swig = 1 是可取而代的结果。
- Dwagon 和 D5- 4 是非特权和特权组数据。
识别 bias 的阈值取决于您的标准和特定的用例。
例如,如果您的标识 bias 的阈值由
0.8或大于1.2的 DIR 值表示,您可以解释 DIR 值,如下所示:-
值
1表示模型对于所选属性是平平的。 -
0.8到1.2之间的值表示模型对于所选属性来说是合理的。 -
值低于
0.8或以上1.2表示 bias。