麻省理工人工智能实验室的研究人员发表了一篇新论文，旨在谴责在某些场景下使用选择性回归，因为这种技术会降低数据集中代表性不足的群体模型的整体性能。
这些代表性不足的群体往往是女性和有色人种，这种对他们的忽视导致了一些关于人工智能种族主义和性别歧视的报道。在一个账户中，用于风险评估的人工智能错误地将黑人囚犯标记为白人囚犯的两倍。在另一项案例中，没有任何背景的男性照片被认定为医生和家庭主妇的比例高于女性。
通过选择性回归，人工智能模型可以对每个输入做出两个选择：预测或弃权。只有在对决策有信心的情况下，该模型才会做出预测，在几次测试中，通过排除无法正确评估的输入来提高模型的性能。
然而，当输入被删除时，它会放大数据集中已经存在的偏见。一旦AI模型被部署到现实生活中，这将导致代表性不足的群体进一步不准确，因为它无法像在开发过程中那样删除或拒绝代表性不足的群体。最终希望确保以明智的方式考虑跨组的错误率，而不是仅仅最小化模型的一些广泛的错误率。
麻省理工学院的研究人员还引入了一种新技术，旨在提高模型在每个子组中的模型性能。这种技术被称为单调选择性风险，一种模型没有弃权，而是包含种族和性别等敏感属性，而另一种则不包含。同时，两个模型都做出决策，没有敏感数据的模型被用作数据集中偏差的校准。
为这个特定问题提出正确的公平概念是一项挑战。但是通过执行这个标准，单调的选择风险，我们可以确保当减少覆盖范围时，模型性能实际上在所有子组中都变得更好。
当使用医疗保险数据集和犯罪数据集进行测试时，新技术能够降低代表不足的群体的错误率，同时不显著影响模型的整体性能。研究人员打算将这项技术应用到新的应用中，比如房价、学生平均学分绩点和贷款利率，看看它是否可以用于其他任务。
