儿童忽视提出了一个算法,屏幕问题

为家庭法的律师罗宾·弗兰克的,父母在他们的一个最低的点,他们有可能失去玛丽从来没有容易。

这项工作并不轻松,但在过去时,她知道她在孩子在家庭法院保护服务。现在,她担心她的战斗她看不到的东西:一个不透明的算法的统计计算的帮助社会工作者决定哪些家庭首先应该调查。

“很多人都不知道它是即使被使用,”弗兰克说。“家庭应该有权在其文件的所有信息。”

从洛杉矶到科罗拉多州和在俄勒冈州,儿童福利机构使用或考虑工具类似于一个在阿勒格尼县,宾夕法尼亚州,美联社评论已经确定了一些技术的担忧,包括对其可靠性问题及其潜在变硬种族差异的儿童福利体系。相关问题已经导致一些地区的计划使用预测模型,如工具尤其是下降了伊利诺伊州。

根据卡耐基梅隆大学的最新研究团队获得由美联社独家,阿勒格尼的算法在其第一年的操作显示模式的萎靡不振的数量不成比例的黑人孩子“强制”忽视调查,与白人孩子相比。独立研究人员,从县,接收的数据还发现,社会工作者不同意产生的风险评分算法大约三分之一的时间。

县官员表示,社会工作者可以覆盖工具,称为研究“假设”。

阿勒格尼县儿童福利官员的摇篮罗杰斯先生的电视社区和图标的child-centric创新,说周围的尖端工具捕获关注国家通过数据支持机构工人,他们试图保护儿童不受忽视。微妙的项可以包括从住房不足,卫生差,但从身体或性虐待是一个不同的类别,分别研究在宾夕法尼亚州和不受这个算法。

“工人,不管他们是谁,不应该被要求,在某一年,14日,15日,16000这类决策的令人难以置信的不完全信息,“艾琳·道尔顿说,县的部门主任人类服务和算法实现预测儿童福利的先驱。

批评者说它给一个程序的数据主要是收集关于穷人一个超大角色在决定家庭的命运,他们警告当地官员越来越依赖人工智能工具。

如果工具自行采取行动屏幕在可比的调用,它会建议三分之二的黑人孩子被调查,相比之下,大约一半的其他孩子报道,上月公布的另一项研究显示,由审计人员县的算法。

倡导者担心如果使用类似的工具在其他儿童福利系统以最小或没有人工干预类似的算法被用来决定如何在刑事司法系统可以加强现有的儿童福利体系的种族差异。

“这不是减少的影响在黑人家庭,“洛根Stapleton说,卡内基梅隆大学的研究员。”准确性和差距,(县)强有力的声明,我认为是有误导性的。”

因为家庭法院听证会是不对公众开放的记录被封存起来,美联社无法识别第一手任何家庭算法推荐被强制要求追究孩子忽视,也没有任何情况下导致孩子被送到寄养。家庭和他们的律师无法确定算法的在他们的生活中所扮演的角色要么因为他们不允许知道分数。

儿童福利机构至少26个州和华盛顿特区考虑使用算法工具,至少有11个部署,根据美国公民自由联盟。

此外,科罗拉多州柯林斯堡,现在测试工具建模在阿勒格尼和计划与家人分享分数如果它推进计划。

“这是他们的生活和他们的历史,”萨德保罗说,经理与县的儿童青少年和家庭服务。“我们希望减少的功率微分参与儿童福利…我们只是认为这是不道德的不是与家人分享得分。”

俄勒冈州并不分享风险评分数字从全州筛查工具,于2018年首次实现和灵感来自阿勒格尼的算法。人类服务的俄勒冈州部门准备雇佣为六years-explored第八新儿童福利主任至少四个算法机构在审查监督委员会下令危机的州长。

最近暂停飞行员算法用来帮助决定什么时候寄养的孩子可以与他们家庭团聚。俄勒冈州还探索了其他三个tools-predictive模型来评估孩子的死亡和严重伤害的风险,是否应该放在寄养儿童,如果是这样的话,在哪里。

多年来,加州探索数据驱动方法全国儿童福利系统在放弃之前建议使用2019年预测风险建模工具。

“在项目过程中,国家也探索种族权益工具可能会如何影响的担忧。这些发现导致国家停止探索,”发言人斯科特·默里在一封电子邮件中说。

洛杉矶县的儿童和家庭服务进行审计,高调的儿童死亡后,和正在寻求一个新的董事去年年底前一个后下台。这是驾驶一个“负责的风险算法“这有助于隔离高危病例被调查,县说。

• 

• 

• 

• 

在头几个月,社会工作者在莫哈韦沙漠城市兰开斯特开始使用该工具,然而,县数据显示,黑色的孩子们有将近一半的调查的对象标记为额外的审查,尽管占人口22%的城市孩子,据美国人口普查。

县没有立即说为什么,但表示将在今年晚些时候决定是否扩大工具。

©2022美联社。保留所有权利。材料可能不会被出版,广播,重写或重新分配。