验证平台允许当地医院确定人工智能系统检测乳腺癌的效果如何

虽然目前有十几种被批准用于乳腺癌筛查的人工智能系统，但很难客观地评估它们的临床表现。然而，现在瑞典有一个验证平台，可以比较人工智能系统检测乳腺癌迹象的能力，该平台的开发由卡罗林斯卡研究所的研究人员领导。

该试点项目于2021年开始，该平台已于去年开始试用。到目前为止，它已被用于开始评估三家不同公司的算法，这些算法基于来自瑞典三个地区的约4万张乳房x线照片。

“评估可能用于临床的人工智能算法的诊断准确性很重要，”卡罗林斯卡学院肿瘤病学系研究员、卡罗林斯卡大学医院放射科医生、项目负责人Fredrik Strand说。“即使它们符合监管要求，也并不意味着它们适用于所有环境。”

在一篇发表在医学影像杂志，研究人员描述了他们是如何设计这个平台的，希望更多的团队能够开发类似的平台。

实现人工智能系统的客观评估

“通过使我们的代码免费访问，我们希望它将用于实现类似的平台算法Fredrik Strand说。他补充说，人们一直热切地期待着这种客观的评估。该国的几个地区已经在考虑开始使用人工智能乳房x光检查筛查．

他说:“我们迫切需要一种能够在本地相关条件下评估算法的系统。”“每个医院都要选择合适的系统来适应自己的需求和特殊情况，以避免错过一个乳腺癌或者召回过多健康女性。”

目前还没有针对指定数据集的既定评估程序来评估人工智能算法在医疗诊断中的准确性。人工智能系统制造商已经在不同的平台上训练和测试了他们的算法数据集这些研究结果将用于监管机构的审批。在该平台中，所有算法处理相同的图像，并将结果与从国家乳腺癌质量注册(NKBC)中提取的实际癌症诊断数据进行比较，揭示了算法的差异。由于今天的人工智能算法是在开发人员可以访问的特定人群中进行训练的，因此它们可能包含应该识别的偏见。

弗雷德里克·斯特兰德(Fredrik Strand)说:“该平台将能够显示出算法的偏见，特别是在涉及到被筛选个体的年龄、地理来源和社会经济地位时。”

平台对制造商也有吸引力

希望这种验证算法的方法也能吸引制造商，他们将有一个独立的评估，可以帮助他们改进他们的产品。

他说:“医院将不得不尽自己的一份力，要求制造商参加独立测试，也许是在采购之前。”

验证平台的开发是在一个研究项目下进行的，该项目将于2024年结束。在此之前，项目组将提出一项关于如何将该平台永久实施以供全国使用的建议。与此同时，更多的地区正在被邀请使用该平台。

Fredrik Strand说:“我们希望更多的地区利用这个机会，同时评估除了已经安装的三个算法之外的其他算法。”

除了卡罗林斯卡学院和卡罗林斯卡大学医院外，隆德大学、地区Skåne、Linköping大学、地区Östergötland、瑞典皇家理工学院、瑞典乳腺癌协会和Medtech4Health AB也参与了该项目。