破碎的工具:文森特Southerland阐明了刑事司法系统中算法工具的使用存在的偏见问题

电脑屏幕上的人体示意图

临床法学助理教授 文森特Southerland 回忆起在他的法律生涯早期,作为布朗克斯辩护律师的工作人员, 他经常处理风险评估工具,即法院用来帮助决定他的当事人是否应在审判前获释的基于算法的工具. 当评估结果对他有利时,他会利用评估结果为他的委托人辩护, 当他们不是的时候, 他会提出评估计算的潜在问题. 法庭上还有其他因素在起作用, 他说, 他没有深入思考风险评估工具所发挥的更广泛的作用.

文森特Southerland
文森特Southerland

但是南特兰教授 刑事辩护和重返诊所, 从那以后,是否认识到这些工具的使用本身对刑事司法具有"巨大影响". 我还意识到,”他说, 是算法生态系统的触角触及到犯罪系统的所有其他阶段——从警务到量刑, 假释, 缓刑, 监督, 再入, 当你被监禁时,你是机密….. 这些工具在整个系统中无处不在, 我觉得他们只是在哼唱,没有什么挑战.”

在他的文章中 《全国十大赌博官网》 去年秋天发表在 马里兰法律评论在美国,southern land对这些工具持严肃态度,并提出了多种质疑理由. 他认为刑事司法系统受到种族主义和不平等的困扰, 他写道“为了改革刑事法律体系, 倡导者需要采用以种族公正为中心的视角,为基于技术的努力提供信息,而不是在当前状态下简单地将工具分层.而算法工具通常被认为有助于消除决策中的偏见, southern land断言,他们受到了不可避免的系统性偏见的影响.

本文首先概述了整个刑事法律系统的算法工具, 专注于预测工具. They are used by police to forecast where criminal activity is likely to occur; they are used by courts to determine risk of rearrest and failure to reappear when setting bail, 并作出判决.

southern land写道,这些证据让人对这种算法方法的有效性产生了怀疑. 在2016年的一项研究中, 人权数据分析小组(HRDAG)研究了预测警务软件PredPol背后的算法. 正在输入奥克兰的犯罪数据, 加州, 预测潜在的毒品犯罪, HRDAG发现,该算法建议以“有色低收入社区”为目标, 尽管与此同时,公共卫生数据显示,吸毒现象在整个城市中分布更为均匀.HRDAG认为,“当被带有歧视性的数据告知时”, 该算法将鼓励类似的歧视性警察行为.” 

southern land指出,现有的学术研究表明,这些数据不仅仅是警察使用的,他们也创造了这些数据, 这意味着,在过去的警察活动中反映出的偏见已经嵌入到算法工具使用的统计数据中. “因此,”Southerland写道, “警察决策在塑造全国十大赌博官网对犯罪和犯罪行为的看法方面发挥着巨大的作用.他认为,数据还存在其他缺陷. 例如, 逮捕统计数字并没有表明最终如何解决逮捕问题, 包括驳回指控:“数据反映和解读的是一个似乎比实际危险得多的社区,”他写道.

这种最初的扭曲, 他认为, 是否会自我延续:基于以往的警务模式,在特定领域加强执法可以导致更多的逮捕, 仅仅是警察的出现也是如此, 导致执法部门更大的打击目标.

保释决定中使用的基于算法的审前风险评估, 就像南布朗克斯辩护律师所遇到的那样, 因管辖区不同而不同,由各种不同的实体创建. 许多人使用的是前科和未决指控的数据. 用来计算风险得分的因素以及如何加权这些因素并不总是被揭示出来, 而且大多数工具都给出一个包含再次逮捕和未出现的风险的单一分数, 尽管这两种风险是截然不同的. 

southern land还批评了用于量刑决定的算法工具. 的工具, 哪一种计算累犯风险, 典型地利用四类危险因素:犯罪史, 反社会的态度, 人口统计资料, 和社会经济地位. 这种“精算风险评估是数字分析的一种形式”, 根据病人的相似程度来制定治疗方案, 或加入, 一组,”他说. 他引用了最近的一项研究,该研究发现弗吉尼亚州使用非暴力风险评估工具并没有减少监禁, 累犯, or racial disparities; simultaneously, 它使年轻被告处于不利地位. 

立即废除刑事法律系统中的算法工具是不太可能的, Southerland承认, 但他看到了一个机会,可以利用它们把这个体系塑造得更好, 用种族公正的视角. 算法数据集可以调整,以适应警务和其他领域中种族差异的影响. 应用公共卫生分析, “热点”可以吸引支持和投资,而不是增加警力. Algorithmic tool vendors and users could be required to eliminate the discriminatory impact of their tools; algorithmic impact assessments, 以环境影响评估为模型, could also be required; and algorithmic tools could be used to detect bias in decision-making in those who run the system. 

southern land强调这不是工具本身的问题, 而是如何制作和使用它们, 这一点很重要. “这些工具向全国十大赌博官网反映了全国十大赌博官网生活的世界. 如果全国十大赌博官网诚实的话, 全国十大赌博官网在反思中看到的是一个充满种族主义和不公正的刑事法律体系,”他写道. “种族公正的视角有助于全国十大赌博官网理解这一点,并要求全国十大赌博官网根据所看到的情况调整自己的反应,以创造全国十大赌博官网想要居住的那种世界。.”

2022年3月14日