※ [本文转录自 NTHU_Talk 看板 #1YgN4XF3 ]
作者: ryanw ( ) 看板: NTHU_Talk
标题: Re: [新闻] AI藏种族歧视因子 清大跨国团队揭医
时间: Wed Jun 15 13:41:48 2022
嗨大家好，我是郭老师的学生也是这个研究团队的成员之一，这几天看到不管脸书ptt上都看
到很多人对我们的这个研究有些误解，所以想借此来澄清一下，很多人说这只是data的问题
，大家有在做ml的应该都知道data很重要，但在现实生活中很难有真正完美balance的datas
et，大部分的dataset都是有些缺陷的，正是因为有这些缺陷所以ml领域的很多人才会一直不
断改良去加强ml model的能力，我们使用的dataset是由MIT所收集的MIMIC-CXR dataset，其
中种族是有病人self-report的，疾病是由医生去看过X光片后做诊断后得来的，这些过程中
都包含了人的因素在其中，有了人的因素就免不了这些data可能存在bias，而目前公开的X光
片资料集的收集大部分都是这个流程，所以我们要做的是找方法让model在学习时能忽视这些
bias，而不是就说dataset有问题然后就啥都不做。
还有一点我们在paper中使用的字都是bias，我们主要想表达的是”偏差”，并非强调歧视这
个意思。
再来就是想简短的跟大家说明一下这个研究的内容，首先ai 可以分种族完全是个意外发现，
有了这个发现后就联想到前些日子一篇paper是讲述关于shortcut learning( reference放下
面)，因为ai在分种族的能力非常的强，我们担心种族会被ai当成shortcuts来使用，简单来
说就是ai把种族当成判断疾病的重要依据而不是拿病理特征来判断疾病，而有这样的想法就
是因为另一组团队发现种族间no finding 的false positive rate (aka 有病说成没病)有b
ias，所以我们想要让ai没办法从影像中抓到种族的特征，迫使ai去学习病理的特征来去缩小
bias。
主要是我的帐号还没达到八卦版天数要求，所以只能在这里回，有兴趣的可以帮我转到八卦
版让大家看。
Reference:
发现ai 可以分种族的paper: https://bit.ly/3mKYsLc
MIMIC-CXR: https://arxiv.org/abs/1901.07042
Shortcut learning: https://go.nature.com/3tCXdBo
种族间诊断结果有差异的paper: https://go.nature.com/3HwPnPK