司法服务？算法风险评估中的歧视

算法风险评估在确定罪犯的未来时扮演一个关键部分，但它并没有没有缺陷。萨里大学的梅丽莎汉密尔顿博士在聚光灯下施加了这些缺陷，特别关注刑事司法决策中的算法公平性和性别偏见。

在我们蓬勃发展的信息技术世界里，算法是现代生活的核心。它们是将“输入”转化为“输出”的数学计算。算法可以预测一些难题的答案，比如哪些股票会升值或贬值;在社交媒体上发布广告最赚钱的时间;哪部电影会成为今夏最卖座的电影?甚至是罪犯在未来再次犯罪的可能性。对于后一种情况，在各种刑事司法决定中使用了算法风险评估工具，评估罪犯的犯罪历史、教育、就业、吸毒和心理健康等数据，然后预测此人再次犯罪的可能性。这是一个常见的假设，过去的行为可以决定一个人未来可能的行为，短语“一旦犯罪，永远是罪犯”是这个想法的过度简化。

称重成本
监禁是一件昂贵的事情，经常会使低风险的罪犯陷入犯罪的恶性循环。刑事司法官员努力避免过度依赖监禁，降低成本，同时保护个人自由和公共安全。算法风险评估是已经使用的一种方法，特别是一种名为COMPAS的工具——替代制裁惩教罪犯管理分析的首字母缩写。它的再犯罪风险量表评估年龄、犯罪史、就业史、毒品问题和职业/教育问题，如成绩和休学。最近，这些工具被用于审前程序，替代了对货币保释的依赖。然而，这些工具的使用历来使贫穷和少数族裔被告处于不利地位。

在风险评估算法的兴起之前，风险预测通常基于Gut Instinct，或决策官员的个人经验。现在，由于行为科学的进步，大数据的到来，以及统计建模的改进，一股新的算法风险评估工具已经带来了人类的大部分负担，使这种重量决定。

虽然算法风险评估工具，如Compas所帮助的刑事司法官员在仍然保护公众的同时实现了成本效益的解决方案，但依赖于犯罪史上的犯罪历史时存在一些意想不到的后果。这是Melissa Hamilton博士在萨里大学的研究中调查。

抬起面纱
汉密尔顿博士声称，尽管在刑事司法案件中使用自动化风险评估有好处，但它们应该受到更多的审查:“科学的伪装在不知不觉中使许多人相信，精算规模让我们能够准确、准确地预测即将不可预测的人类行为。数字和统计数据的超党派特性既具有吸引力，让决策者感到风险可以被遏制，又具有强大的影响力，似乎在科学的面纱下使刑事司法决定绝缘。”

Compas估计妇女恢复妇女的风险，从而导致女性罪犯的不公平判决。

这一“面纱”已经被民权组织和数据科学家揭开。2016年，ProPublica的一份调查报告对预测未来犯罪行为的算法风险评估的客观性和公平性提出了质疑。他们的研究查看了7000多名被逮捕者的数据，这些数据是在佛罗里达州南部一个县的审前环境中通过COMPAS评分的。研究结果表明，流行的风险评估工具COMPAS歧视黑人，因为其算法对黑人的假阳性率比白人高得多，这意味着它高估了黑人再次犯罪的高风险。

汉密尔顿博士在自己的研究中进一步调查了种族偏见的潜力，这些研究看着Compas对西班牙语的评估并发现了类似的歧视性结果。最近，她已经将算法公平的问题推进了性别竞技场，看着Compas歧视女性罪犯的歧视。这是一个很少在算法正义研究中调查的问题，但与种族偏见一样，它对违法者具有令人不安的后果。

性别问题
研究证实，女性比男性更不可能犯下新的罪行。事实上，美国的一项新研究发现，男性与再犯有显著的相关性。此外，研究显示，性别比算法风险工具中通常包含的其他变量更能预测再犯罪。那么，显而易见的问题是，这些工具是否正确认识到了这种基于性别的差异。

出于她的研究目的，Drhamilton在2013年和2014年在他们被捕后，佛罗里达州的Broward County在佛罗里达州的Broward县分析了6,172 arrestees的结果。在本研究之前，2010年的验证研究是一般的重新核准展示男性比女性更高的速率重新汇款。尽管有这些发现，尽管有一个专门为女性专门调整的工具，但Broward County还在继续使用不具体的Compas秤。汉密尔顿博士的研究表明了类似的结果，证明了该工具估计妇女重新犯罪的风险，从而导致对女性罪犯的不公平处罚。她的研究还研究了对暴力再造的风险评估，结果表明，妇女的速度评定为高风险的速度不到标有高风险的男性的一半（25％，而52％）。

那么，这种过度预测的原因是什么？据汉密尔顿司司说，一个解释的是，该算法主要培训，主要是在男性样本上，并且它未能包括女性敏感因素，例如创伤的作用，事先性受害，个人关系不稳定和父母压力。Drhamilton表示，对于性别，种族或种族是否可以明确地列入法律和道德观点的风险工具中仍然是一个开放的问题。明确的是，通过不使用性别敏感算法，刑事司法系统使妇女免遭妇女，并认为其预测能力是较差的。

Compas估计妇女恢复妇女的风险，从而导致女性罪犯的不公平判决。

值得清楚的是，虽然算法评估规模赢得了他们作为渐进式，科学知情，复杂的工具的赞誉，但它们可以对低风险违规者以及少数民族和妇女产生不同的影响，使他们受到过度苛刻的惩罚。

不公平得分
其他缺陷汉密尔顿博士在相关的刑事司法研究中的亮点包括危险工具无数次犯罪的风险工具的趋势，错误地包括不判决和无罪的行为，并不充分允许年龄犯罪曲线（年龄较大的你是，你要犯罪的可能性越少。同样，这些缺陷可能导致潜在的犯罪行为过度估计，对罪犯的可怕后果。

虽然这些缺陷是令人担忧的，但Drhamilton的目的不是为了整体拒绝经验上知情的方法：“我希望揭示，突出，并质疑过去 - 未来的方向所创造的多种后果。个人先前记录的潜在重建往往可能具有改变个人未来的不幸效果。“

她宣称，尽管算法风险评估在管理罪犯方面可以发挥作用，但我们绝不能忽视算法评估的歧视能力。