日前,据外媒报道,旧金山宣布了一个“减少偏见的工具”,计划于 7 月 1 日开始实施,这个工具使用基本的人工智能技术,能够自动修改警方报告中能够识别出嫌疑人种族的信息。
之所以设计出这个工具,是为了防止检察官在决定某人是否被控犯罪时受到种族偏见的影响。
旧金山地区检察官 George Gascón 在新闻发布会上表示,在美国被监禁的人中,有色人种是不成比例的。此外,他还指出,当看到像 Hernandez 这样的名字时,检察官立即就会知道这个人是拉美裔,而这可能会影响结果。
此前,旧金山就已致力于不让检察官看到报告中与种族相关的信息,但只是移除报告的前两页内容,剩下的部分检察官还是会看到,因此才想利用机器学习来减少偏见。
据旧金山地区检察官办公室的说法,该工具不仅可以删除种族描述,还可以删除眼睛颜色和头发颜色等描述。那些可能有意或无意地向检察官透露嫌疑人有某种种族背景的人名、地点和社区也会被删除。不仅如此,这个工具还会删除警察的详细信息,包括他们的警徽号码,以防检察官碰巧认识,可能对他们的报告有偏见。
另外,值得一提的是,地方检察官办公室称这是“全国第一次”使用这项技术,之前没有任何机构使用人工智能来做这件事。
这个将被美国首次应用的工具是 Alex Chohlas-Wood 和斯坦福计算政策实验室的团队开发的。Wood 说,这个新工具基本上只是一个轻量级的 web 应用程序,它使用几种算法来自动编辑警察报告,使用计算机视觉识别报告中的单词,并将其替换为通用版本,如位置、一号警官等。
此外,Wood 还表示这个工具已经进入了最后阶段,是由旧金山科技公司免费开发的,将在几周内开放源代码,供其他公司采用。
目前,由于没有看到这个系统在警察报告上运行,所以还不清楚效果如何。不过,当记者询问如果男扮女装,或者女扮男装,这个工具是否还能够修改这些信息时,Gascón 只是表示今天是个起点,这个工具会不断发展的。
另外,这个工具也只是用于逮捕后的第一次审查,检察官的最终决定仍基于完整的未修订的报告。并且,如果最初的指控证据是视频资料,还是会很明显地揭示出嫌疑人的种族。
尽管这个工具是否能产生帮助尚未可知,但值得注意的是,在上个月,旧金山才刚刚发出 AI 人脸识别的禁令,是全球首个发布此项禁令的城市;而发出禁令的原因之一,就是人脸识别技术存在种族偏见。
说到底,AI 是具有偏见还是能够消除偏见,最终还是取决于 AI 技术,而就目前 AI 频繁处于争议中的情况看来,雷锋网认为,AI 技术的发展还有很长的路要走。
本文转自雷锋网,如需转载请至雷锋网官网申请授权。