“编码相同的偏见”:人工智能在冠状病毒应对中的局限性
随着冠状病毒大流行的持续，种族和性别在感染COVID-19和死于COVID-19中的社会经济影响已经暴露无遗。人工智能(AI)在应对疫情中发挥着关键作用，但它也可能加剧我们卫生系统内的不平等——这是一个严重的担忧，正在将技术的局限性重新拉回人们的关注焦点。
对危机的应对在很多方面都受到了数据的调节——人工智能算法使用的信息爆炸以更好地认识和应对COVID-19，包括跟踪病毒的传播和制定治疗干预措施．
人工智能，就像它的创造者一样，也不能幸免于偏见。这项技术通常被设计用来消化大量数据，并做出推论来支持决策，它反映了开发它的人类的偏见，并为它提供用于吐出结果的信息。例如，几年前，亚马逊开发了一种人工智能工具，通过从过去的招聘中学习来帮助对求职者进行排名，该系统模仿了其制造商的性别偏见降低女性简历的等级．
美国纽约大学杰出研究科学家、全球智能科技公司的联合创始人梅雷迪思·惠特克指出:“在新冠疫情之前，我们看到人工智能被广泛使用，在新冠疫情期间，你会看到某些类型工具的使用有所增加。AI现在该研究所开展研究，考察人工智能的社会影响。
监控工具密切关注在家办公的白领和声称可以检测学生考试是否作弊的教育工具变得越来越普遍。但惠特克说，大多数这种技术都是未经测试的，有些已经被证明是有缺陷的。然而，她补充说，这并没有阻止企业将其产品作为治疗大流行造成的附带损害的万灵药进行营销。
例如，在美国，契约医疗设备被称为脉搏血氧计它的设计目的是测量血液中的氧气水平，一些冠状病毒患者粘在它的小屏幕上，以决定何时去医院，此外医生还使用它来帮助治疗医院的临床决策．
然而，该设备的工作方式容易带有种族偏见，很可能是针对浅肤色用户进行校准的。早在2005年，一项研究就明确表明，手机“大多倾向于这样做”高估(氧)饱和度为几个点。
惠特克说，脉搏血氧计设备的问题已经存在几十年了，制造商还没有解决。“但即便如此，这些工具正在被使用，它们正在产生数据，这些数据将继续形成用于医疗保健的诊断算法。所以，你看，即使在我们的人工智能系统是如何构建的层面上，它们也在编码同样的偏见和同样的种族主义和歧视历史，这些在2019冠状病毒病的背景下表现得非常清楚。”
证据
与此同时，随着大量证据的积累，人们有色人种更有可能死于COVID-19感染在美国，这种多样性并不一定存在这反映在大量的临床试验上被授予开发药物和疫苗的使命——这种令人不安的模式早在大流行之前就存在了。在性别多样性方面，最近的一项综述发现，在与COVID-19有关的927项试验中，超过一半的试验明确排除了怀孕孕妇被完全排除在疫苗试验之外．
欧盟人工智能高级专家组成员、ALLAI(致力于培养负责任的人工智能组织)联合创始人Catelijne Muller指出，这些临床试验产品的结果不一定能代表人群。
她说:“如果你用这些结果来为人工智能算法提供未来的预测，这些人在这些预测模型中也会处于劣势。”
在COVID-19背景下使用人工智能技术的问题与大流行前困扰该技术的偏见问题没有什么不同:如果你向技术提供有偏见的数据，它就会产生有偏见的结果。事实上，现有的大规模人工智能系统也反映出它们所处的环境和建造它们的人缺乏多样性。这些地方几乎都是少数科技公司和精英大学的实验室——在西方往往是这样白人，富有，技术导向，男性AI Now Institute 2019年的一份报告称。
惠特克说，但这项技术并不仅仅是它的制造者的反映——人工智能也放大了他们的偏见。
“一个人可能有偏见，但他们不会把这些偏见扩大到数百万乃至数十亿个决定，”她说。“而人工智能系统可以编码人类的偏见，然后以具有更大影响的方式分发这些偏见。”
她补充说，让问题更加复杂的是，人们担心自动化存在偏见。“人们倾向于更相信由电脑做出的决定，而不是由人做出的决定。因此，我们需要注意人工智能系统洗去这些偏见的方式，并使它们看起来严谨和科学，这可能会导致人们不太愿意质疑这些系统做出的决定。”
安全
专家们表示，对于如何让人工智能技术变得负责任和安全，目前还没有明确的共识，但研究人员已开始就公平性、可解释性和稳健性等有用步骤达成一致。
根据穆勒的说法，第一步是问“零问题”:我的问题是什么，我如何解决它?用什么来解呢人工智能还是用别的东西?如果有AI，这个应用够好吗?它是否损害了基本权利?
“我们看到的是，许多人认为有时人工智能是一根魔杖，它可以解决一切问题。但有时它不能解决任何问题，因为它不适合这个问题。有时候，它是如此具有侵略性，它可能解决了一个问题，但却造成了一个大的、不同的问题。”
Muller说，当涉及到在covid -19的背景下使用人工智能时，会出现大量数据，但这些数据需要可靠和优化。
她说:“数据不能只是扔给另一种算法。”她解释说，算法是通过寻找相关性来工作的。“他们不明白什么是病毒。”
英国艾伦•图灵研究所(Alan Turing Institute)人工智能项目主管阿德里安•韦勒博士(Adrian Weller)表示，人工智能的公平性问题展示了人类决策中的偏见。他说，认为不使用算法就意味着一切都会好起来的想法是错误的。
韦勒说，人们对这些系统充满希望和兴奋，因为它们的运行比人类更一致、更有效，但它们缺乏常识、推理和环境的概念，而人类在这些方面要好得多。
问责制
让人类更多地参与决策流程是为人工智能应用带来问责制的一种方式。但弄清楚这个人或几个人应该是谁是至关重要的。
惠特克说:“简单地让一个人参与这个过程并不能保证做出一个好的决定。”她说，还有一些问题需要解决，比如这个人为谁工作，他们在什么样的激励下工作。
“我认为我们需要真正缩小‘人类’的范围，看看是谁，目的是什么。”
可以以多种方式纳入人力监督，以确保透明度和减轻偏见， ALLAI的Muller及其同事在一项研究中提出报告分析一个欧盟监管机构正在努力规范“高风险”人工智能应用，如用于招聘、生物识别或医疗部署。
这包括审计AI系统的每个决策周期，监控系统的运行，有权决定在任何特定情况下何时以及如何使用系统，以及有机会推翻系统做出的决定。
对于惠特克来说，最近的事态发展令人鼓舞，比如欧盟监管机构愿意监管“高风险”应用程序，或者美国的社区组织导致禁止面部识别技术。
“我认为我们需要更多类似的东西……以确保这些系统是可审计的，我们可以检查它们，以确保它们是民主控制的，人们有权拒绝使用这些系统。”
梅瑞狄斯·惠特克和凯特琳·穆勒将在一个小组上发言，讨论如何解决人工智能领域的性别和种族偏见欧洲研究与创新日会议将于9月22日至24日在网上举行。
