卫生保健人工智能被偏见的数据,造成不平等的关心
像许多行业、医疗受益于不断上涨的人工智能的使用,但它有时发生在少数患者的费用。
事实上,卫生保健AI可能扩大和恶化差距(种族/民族和其他人),因为数据源“教”人工智能不代表和/或基于数据从当前不平等的关怀,密歇根大学的法学教授尼科尔森的价格说,他也是一个密歇根大学的医疗政策研究所&创新。
在最近的一次科学文章中,价格和密歇根州立大学的同事安娜Bracic和Shawneequa卡莉的乔治华盛顿大学说这些差异发生尽管努力通过医生和医学卫生系统在策略集中在多样化的员工招聘或内隐偏见培训。
anti-minority文化的一个例子是什么?
令人沮丧的是有许多文化的例子包括根深蒂固的偏见反对minoritized人口(即构造成少数民族人口占主导地位的集团)。我们关注黑人患者的医学文章(人天性对疼痛不敏感,在许多其他有害的观点),但是我们可以专注于美国本土的病人,变性患者,患者某些障碍,甚至女性一般(尽管它们数值多数,通常仍然minoritized)。
这影响研究参与/招聘和人工智能,比如黑人参与者参与下降?
完全正确。我们开始这篇文章通过描述的临床护理模式涉及自我强化的循环排除,然后退后一步来展示这些动力学也发生在病人招聘大数据然后AI。研究参与很多依赖一个故事早期的研究显示不同的速率的同意大数据研究参与(密歇根州基因组计划)不同少数民族的成员。
在这个项目中,我们(和在此基础上工作其他工作研究参与Shawneequa卡莉,第三这篇文章的作者之一)制定周期性动态,偏见会导致招聘不足,导致减少接触,导致感知minoritized患者作为研究不感兴趣,和重复,加强循环。同样的模式出现在医学人工智能。
描述了人工智能和anti-minority文化/歧视交互。
人工智能不是的;它不能minoritized组的成员的“认为”。但AI系统训练数据,以反映几十年根深蒂固的偏见临床护理,他们也训练不充分代表数据集(刚刚描述的原因)。这意味着AI系统“学习”有偏见的数据,然后他们一部分的模式用来预测,分类和recommend-are偏见,所以这些输出可能的偏见和歧视,。当患者抵制坏的建议,或者反应不佳的AI系统学习这些新数据,又一个循环的圆不断重复着。
本研究的政策含义是什么?
基本上,有三个主要政策外卖。首先,可以自我强化的排斥,无论是医疗实践、研究数据收集或医学人工智能。希望这些流程改善随着时间的推移(尤其是对AI)他们只是了解更多可能是没有意义的,除非这些希望都伴随着集中学习和努力。
第二,这些不同的排除周期并不只有自我强化,他们还可以相辅相成的。AI系统从偏见的保健和偏见AI建议可以反馈到更多的是偏向关心。一个完全公正的医生处理人工智能训练有偏见的数据可能会有偏见的决策。
第三,和相关:试图解决这些问题在政策层面需要了解和考虑这些交织,加强动态。试图修复系统中只有一点的偏见就像试图治疗全身感染通过专注于一个器官:它只是会感染系统的其他部分。
如何确定偏差从数据集或人工智能吗?谁来带头算法改变正在发生什么?
这是一个艰难的一个。我们认为多学科、不同团队的路要走,但这是远不清楚那些团队可能或如何有效地实现改变。就好了如果我们有一个非常清晰、简单的解决方案,但实际上,我们看到我们的角色做更多指出问题的复杂性和动态,希望虽然还早到更有效地解决它。
事实上,卫生保健AI可能扩大和恶化差距(种族/民族和其他人),因为“教”AI的数据源不代表和/或基于数据从当前不平等的关怀,密歇根大学的法学教授尼科尔森的价格说,他也是一个密歇根大学的医疗政策研究所&创新。
