ithome
Google推出机器学习公平性量测工具以评估模型偏见
文/李建兴 | 2019-12-15发表
Google发布了Fairness Indicators工具，可针对二元和多类别分类（Classification）
进行运算与视觉化，帮助机器学习开发团队，评估与修正模型所存在的偏差。
产业界与学术界大量地使用机器学习技术解决问题，但是机器学习算法和资料集，可能
同时反映且强化了偏差。Google提到，偏差有可能出现在机器学习工作管线的任何部分，
从资料集到模型的表示，甚至是将结果呈现给终端使用者的方式都不例外。
而为了检测机器学习存在的偏差，针对单一用户或是用户群的评估非常重要，Google强调
，因为总体指标可以掩盖某些群组不良的状况，这些群组包括敏感的特征群体，像是种族
、性别、国籍、收入、性倾向、能力和宗教信仰。
Google的人工智能原则其中一项，是要避免造成或是加强不公平的偏见，他们也持续在这
领域耕耘，现在并于TensorFlow World大会发布了Fairness Indicators工具。Fairness
Indicators可运算并视觉化像是误报率等常用的分类模型公平性指标，还能计算信赖区间
，以多个阈值进行评估。在使用者接口上，使用者可以切换基准群组并调查不同指标的效
能，也可为自己的使用案例，增加自定义的视觉化指标。
Fairness Indicators可以用来产生透明性报告指标，以帮助开发人员更负责地调校模型
，Google表示，公平性的顾虑与评估会因为案例而不同，因此Fairness Indicators工具
还包含了一个交互式研究案例，提供Jigsaw毒性资料产生的意外偏差，说明使用
Fairness Indicators检测和修补机器学习模型偏差的方法。
Google提到，光靠指标与测量并无法让机器学习模型实现完全的公平，这些方法仅是辨识
与解决偏差的其中一环。
https://www.ithome.com.tw/news/134834