由于人工智能(AI)和机器学习的进步,计算机系统现在可以进行诊断皮肤癌就像皮肤科医生会做的那样,挑一个中风像放射科医生一样用CT扫描,甚至可以检测出潜在的癌症结肠镜检查胃肠病学家。这些新的数字诊断专家承诺将把我们的护理人员置于更大、更好、更快、更便宜的技术曲线上。但如果他们也让医学变得更加偏颇呢?

在这个国家努力解决核心社会机构中的系统性偏见的时候,我们需要技术来减少、而不是加剧健康差距。18新利官网多久了我们早就知道,用不能代表整个群体的数据训练出来的人工智能算法,往往在代表性不足的群体中表现更差。例如,用性别不平衡的数据训练的算法在阅读方面表现更差胸部x光检查对一个被低估的性别来说,研究人员已经这么做了有关许多皮肤癌检测算法主要针对浅肤色的人,但它们在检测影响深肤色的皮肤癌方面做得更差。

考虑到错误决策的后果,高风险的医疗AI算法需要用来自不同人群的数据集进行训练。然而,这种多样化的培训并没有发生。在一个最近的研究发表在《美国医学会杂志》(美国医学协会杂志),我们回顾了70多份出版物,这些出版物比较了临床医学多个领域中医生与数字二重身的诊断能力。用于训练这些人工智能算法的大部分数据仅来自三个州:加利福尼亚州、纽约州和马萨诸塞州。

无论是种族、性别还是地理,医疗人工智能都存在数据多样性问题:研究人员无法轻易获得大规模、多样化的医疗数据集,这可能导致算法存在偏差。

为什么没有更好的数据?我们的一位病人,一位退伍军人,有一次在试图获得他以前的医疗记录后沮丧地说:“医生,为什么我们可以看到在世界的另一边移动车队中的一辆特定的汽车,但我们不能看到我在街对面医院的CT扫描?”分享医学数据对一个病人来说已经很困难了,更不用说需要成百上千的病例来可靠地训练机器学习算法。无论是治疗患者还是构建人工智能工具,医疗领域的数据都被锁定在各地的小竖井中。

医疗数据共享应该变得更加普遍。但是,医疗数据的神圣性和相关隐私法的力量为保护数据提供了强大的动机,并为数据共享中的任何错误带来严重后果。数据有时会因为经济原因而被封存;一项研究发现,共享数据的医院更有可能失去的病人当地的竞争对手。即使存在共享数据的意愿,医疗记录系统之间缺乏互操作性仍然是一个可怕的技术障碍。过去20年大型科技公司使用个人数据的反弹,也给医疗数据共享蒙上了一层长长的阴影。公众对任何收集个人数据的尝试都深表怀疑,即使是为了有价值的目的。

医疗数据缺乏多样性已经不是第一次了。自早期临床试验以来,女性和少数群体作为研究参与者的比例一直偏低;越来越多的证据表明,这些群体从批准的药物中获益更少,副作用更多。解决这种不平衡最终需要NIH、FDA、研究人员和产业界的共同努力,以及1993年的国会法案;直到今天,这项工作仍在进行中。一家致力于研发新冠疫苗的公司最近宣布延迟招募更多样化的参与者;它是那么重要。

这不仅仅是医学;人工智能已经开始在其他高风险领域扮演训练有素的专家的角色。人工智能工具可以帮助法官做出量刑决定,调整执法重点,并向银行官员提出是否批准贷款申请的建议。在算法成为高风险决策不可或缺的一部分之前,我们必须了解并减轻嵌入的偏见,这些决策可以改善或破坏日常公民的生活。

人工智能的偏见是一个复杂的问题;仅仅提供多样化的训练数据并不能保证消除偏差。人们还提出了其他一些担忧——例如,AI工具的开发者和资助者之间缺乏多样性;从多数群体的角度构建问题;对数据隐含偏见的假设;以及利用人工智能工具的输出来延续偏见,无论是无意的还是明显的。由于获得高质量数据具有挑战性,研究人员正在构建试图以更少的资源做更多事情的算法。从这些创新中可能会出现减少人工智能对庞大数据集需求的新方法。但就目前而言,确保用于训练算法的数据的多样性,对我们理解和减轻人工智能偏见的能力至关重要。

为了确保未来的算法不仅强大而且公平,我们必须建立技术、监管、经济和隐私基础设施,以交付训练这些算法所需的大量和多样化的数据。我们不能再盲目前进,利用任何碰巧可用的数据构建和部署工具,被数字光环和进步的承诺所迷惑,然后哀叹“不可预见的后果”。其后果是可以预见的。但它们不一定是不可避免的。