4.4. 使用 bias 指标
您可以在 Red Hat OpenShift AI 中使用以下 bias 指标:
- 统计区域差异
统计 Parity Difference (SPD)是非特权和特权组之间的良好结果预测的概率差异。SPD 正式定义如下:
- criu = 1 是可取的结果。
- DPROFILE 和 D categories 是非特权和特权组数据。
您可以按如下方式解释 SPD 值:
-
值
0表示模型对于所选属性来说比较简单(如 race, gender)。 -
range
-0.1到0.1的值表示模型对于所选属性是合理的。相反,您可以对其他因素(如示例大小)造成概率差异。 -
range
-0.1到0.1之外的值表示模型对于所选属性没有释放。 - 负值表示模型对非特权组有 bias。
- 正值表示模型对特权组有 bias。
- 不同的影响率
不同的影响率 (DIR)是特权组的可取用结果的比例。DIR 的正式定义如下:
- criu = 1 是可取的结果。
- DPROFILE 和 D categories 是非特权和特权组数据。
识别 bias 的阈值取决于您的标准和具体用例。
例如,如果您的识别 bias 的阈值由以下 DIR 值(在
0.8或1.2以上)表示,您可以按如下方式解释 DIR 值:-
值
1表示模型是所选属性的公平。 -
值介于
0.8和1.2之间,表示模型对于所选属性来说是合理的。 -
低于
0.8或1.2以上的值表示 bias。