公义服务算法风险评估中的歧视
算法是现代生活核心数学计算中输入转换成输出算法预测解答方法,例如股价增减最有利可图的时间发布社交媒体广告电影中哪部会成为夏令营即使是罪犯未来可能实施另一项犯罪后一种假设中算法风险评估工具应用于各种刑事司法决策中,评估数据如罪犯犯罪历史、教育、就业、使用毒品和心理健康,然后预测此人重犯的可能性。常有的假设是过去行为可支配个人未来可能行为-短语“自犯罪始始始始始犯罪始 ” 过分简单化了这一思想
微值成本
监禁代价高昂,往往会把低风险罪犯困入犯罪恶性循环中刑事司法官员努力避免过度依赖监禁并降低费用,同时保护个人自由和公共安全算法风险评估使用过的一种方法,特别是名为COMPAS的工具-教化罪犯管理剖析替代制裁缩写重犯罪风险尺度评估年龄、犯罪历史、就业历史、毒品问题和职业/教育问题,如等级和悬停最近这些工具被用于审前环境,替代依赖货币保释使用这些工具历来使穷人和少数族裔被告处于劣势。
风险预测通常基于直觉或决策官个人经验多亏行为科学的进步 大数据到来 统计建模的改善 新波算法风险评估工具
算法风险评估工具如COMPAS帮助刑事司法官员实现成本效益解决方案同时保护公众,但依赖犯罪历史判定罪犯未来产生某些意外后果Melissa Hamilton博士正在萨里大学研究
Depositphotos.com
揭开面纱
汉密顿博士宣称,刑事司法案例使用自动化风险评估有益处,但他们应接受更多审查:“科学外表无意中说服许多人,精算尺度允许我们准确预测即时不可预测-人类行为。数字和统计的非党派性能既能启发决策人,又能让决策人感知风险可凝聚,并强而有力,似乎隐蔽在科学屏蔽中的刑事司法决策。”
COMPAS过度预测妇女重犯风险,从而导致对女性罪犯不公平判决
民权团体和数据科学家解密2016年ProPorpica调查报告质疑算法风险评估预测未来犯罪时的客观性和公平性研究7000余名被捕者在Florida南县审前场景中获分发现公众风险评估工具COMPAS歧视黑客, 因为它算法为黑客产生比白客高得多的假正率, 意即它高预测黑客重犯风险
汉密顿博士在研究COMPAS对西班牙人的评估并发现相似的歧视性结果时进一步调查种族偏差的可能性最近她将算法公平问题推向性别领域,研究COMPAS如何歧视女性罪犯这个问题很少在算法司法研究中调查,但像种族偏向一样,它给违法者带来令人不安的后果。
性别问题
研究证实,女性实施新犯罪的可能性远小于男性确实,美国新研究发现,男性与重犯关系极大。此外,研究显示,性别比算法风险工具中常用的其他变量更强预测重犯显而易见的问题是,这些工具是否正确识别这种基于性别的差异。
Hamilton博士为研究目的分析佛罗里达Broward县6 172名被捕者2013年和2014年被捕后不久在COMPAS普通累犯风险评分在这次研究前,2010年验证通报重报显示,雄性重报率远高于雌性尽管有这些发现,Broward县继续使用不按性别划分的COMPAS尺度,尽管有专门面向妇女的工具可用。汉密顿博士研究显示相似结果,证明工具高估妇女重犯罪风险,从而导致对女性罪犯不公平处罚研究还研究暴力重犯风险评估,结果显示,被评为高风险的妇女比率不到高风险男子比率的一半(25%对52%)。
何因如此过量汉密顿博士表示,解释是算法培训大都以男性样本为主,没有包括女性敏感因素,如外伤作用、前性伤害、个人关系不稳定和父母压力汉密顿博士表示,从法律和道德观点看,性别、种族或民族是否可明文包括在风险工具中,仍是一个未决问题。显而易见的是,不使用对性别问题敏感算法,刑事司法系统就禁止妇女使用算法,并禁止算法预测能力,结果比较穷。
COMPAS过度预测妇女重犯风险,从而导致对女性罪犯不公平判决
算法评估尺度获得进步科学信息先进工具的赞美, 可对低风险罪犯以及少数族裔和妇女产生不同影响,
不公平评分
汉密顿博士相关刑事司法研究中的其他缺陷包括风险工具多次计数,错误地包括非判断和免责行为评分,以及不适当允许年龄-犯罪曲线(你越大,犯罪概率越小)。同样的,这些缺陷可能导致对潜在犯罪行为的过度猜疑,给罪犯带来严重后果。
汉密顿博士的目的并非完全拒绝经验性知情方法 : “而不是我希望揭开、突出并质疑过去定位所创造的多重后果个人前记录的潜在重构常有改变个人未来的不幸效果
算法风险评估归根结底在管理罪犯方面可以发挥作用,但我们不能忽略算法评估歧视能力
个人响应
至今为止你的研究产生什么影响
大数据算法在许多方面为社会提供了很多帮助刑事司法算法预测有望帮助国家减少超载并同时维护公共安全研究提醒决策者和公众,如果这些算法培训多为白男性样本,就有偏差的可能寻找科学进步与算法对妇女和少数民族公平之间的适当平衡