在讨论人工智能的威胁时，首先想到的是天网，黑客帝国和机器人启示录的图像。排名第二的是技术失业，这是在可预见的未来的愿景，在该愿景中，人工智能算法将接管所有工作，并促使人们在不再需要人工劳动的世界中为无意义的生存而斗争。
这些威胁中的任何一个还是两个都是真实存在的，在科学家和思想领袖之间引起了激烈的争论。但是，人工智能算法还以不那么明显和难以理解的方式构成了当今更加迫在眉睫的威胁。
数学家凯茜·奥尼尔(Cathy O'Neil)在她的著作《数学破坏的武器：大数据如何增加不平等并威胁民主》中探讨了盲目相信算法来做出敏感决策如何损害许多接受决策的人。
AI算法的危险可以表现在算法偏差和危险的反馈循环中，并且可以扩展到日常生活的各个领域，从经济到社会互动，再到刑事司法系统。尽管在决策中使用数学和算法并不是什么新鲜事，但深度学习的最新进展以及黑匣子AI系统的泛滥放大了它们的影响，无论是好是坏。如果我们不了解AI的当前威胁，我们将无法从AI的优势中受益。
危险AI算法的特征
我们使用算法进行建模以理解和处理许多事情。“毕竟，模型只不过是某种过程的抽象表示，无论是棒球比赛，石油公司的供应链，还是电影院的订座，”奥尼尔在《数学武器》中写道破坏。“无论它是在计算机程序中运行还是在我们的头脑中运行，该模型都会利用我们所知道的知识，并用其预测各种情况下的响应。”
但是，由于深度学习的进步以及我们生活各个方面的数字化日益增强，越来越多的模型从我们的头脑中转移到了计算机上。借助宽带互联网，云计算，移动设备，物联网(IoT)，可穿戴设备以及一系列其他新兴技术，我们可以收集和处理越来越多的有关任何事物的数据。
对数据和计算能力的这种不断增长的访问帮助创建了可以自动执行越来越多任务的AI算法。以前仅限于研究实验室的深度神经网络已经进入许多以前对计算机具有挑战性的领域，例如计算机视觉，机器翻译，语音和面部识别。
到目前为止，一切都很好。有什么问题吗?在数学破坏武器中，O'Neil指定了使AI模型变得危险的三个因素：不透明度，规模和破坏。
算法与公司不透明
AI系统的不透明性有两个方面：技术和公司。近年来，技术上的不透明性(也称为人工智能的黑匣子问题)受到了很多关注。
简而言之，问题是，我们如何知道AI算法正在做出正确的决定?随着AI逐渐进入贷款申请处理，信用评分，教师评级，累犯预测以及许多其他敏感领域，这个问题变得越来越关键。
许多媒体已经发表文章，将AI算法描述为神秘的机器，其行为甚至对于开发人员来说都是未知的。但是，与媒体所描述的相反，并不是所有的AI算法都是不透明的。
传统的软件通常以AI术语称为符号人工智能，以其可解释和透明的特性而闻名。它们由手工编码的规则组成，由软件开发人员和领域专家精心组合而成。可以对它们进行探测和审核，并且可以将错误追溯到发生错误的代码行。
相反，近年来变得越来越流行的机器学习算法通过分析许多训练示例并创建统计推断模型来发展其行为。这意味着开发人员不一定对AI算法的行为拥有最终决定权。
但同样，并非所有的机器学习模型都是不透明的。例如，决策树和线性回归模型是两种流行的机器学习算法，它们将对决定其决策的因素给出清晰的解释。如果您训练决策树算法来处理贷款申请，它可以为您提供树状分解(因此称为名称)，说明如何确定要确认和拒绝哪些贷款申请。这为开发人员提供了发现潜在问题因素并纠正模型的机会。
但是，在过去几年中非常流行的深度神经网络在揭示其工作方式方面尤其不利。它们由一层层的人工神经元，小的数学函数组成，这些函数将其参数调整为训练期间看到的数千个示例。在很多情况下，很难探究深度学习模型并确定哪些因素有助于他们的决策过程。
贷款申请处理深度学习算法是一个端到端模型，在该模型中，贷款申请进入，并得出最终结论。关于AI算法的决策方式，没有逐个特征的细分。在大多数情况下，训练有素的深度学习模型的性能将比其不太复杂的(决策树，支持向量机，线性回归等)更好，并且甚至可能发现相关模式，这些模式对于人类专家来说是不会被注意到的。
但是，即使是最精确的深度学习系统也会偶尔出错，而一旦出错，就很难确定出了什么问题。但是深度学习系统不需要在不透明性成为问题之前就犯错误。假设一个生气的客户想知道为什么AI应用程序拒绝了他们的贷款申请。当您拥有可解释的AI系统时，就可以对做出决定的步骤提供清晰的解释。
但是，尽管人工智能算法在技术上的不透明性在科技媒体上引起了广泛关注，但很少讨论的是公司使用其算法的不透明方式，即使算法本身是微不足道的且可解释的。“即使参与者知道要建模，或者模型的用途是什么，该模型还是不透明的，甚至是不可见的?”奥尼尔在《数学毁灭性武器》中的问题。
将AI算法视为公司机密的公司会尽力将其隐藏，以保持领先于竞争对手的优势。对于支持Google搜索的AI算法，我们知之甚少。这种机密性是有道理的。例如，如果Google发布了其搜索算法的内部结构，那么它将很容易受到游戏的攻击。实际上，即使没有Google透露有关其搜索算法的详细信息，整个行业也随时准备寻找捷径，直指Google搜索排名第一的位置。毕竟，算法是无意识的机器，它们按照自己的规则运行。他们不使用常识性判断来识别扭曲行为准则的邪恶行为者。
但是，以同样的例子为例，如果没有透明度，我们如何确保Google本身不会操纵搜索结果来实现自己的目标和经济利益?这仅显示了组织在使用AI算法时所走的细线。当AI系统不透明时，它们甚至不需要犯错误就可以造成破坏。甚至对系统性能的怀疑阴影也足以引起对系统的不信任。另一方面，过多的透明度也会适得其反，并导致其他灾难性的后果。
O'Neil在GDPR和CCPA等规则生效之前，于2016年撰写了《数学毁灭性武器》。这些法规要求公司对AI算法的使用保持透明，并允许用户调查其自动化系统背后的决策过程。其他发展，例如欧盟委员会的道德AI规则，也激励了透明度。
在解决有关AI透明性的技术，道德和法律问题方面已经取得了很大的进步，还需要做更多的工作。随着监管机构通过新法律来规范公司机密性，公司会找到新方法来规避这些规则，而又不会陷入困境，例如，很长的服务条款对话框会明显地剥夺您获得算法透明性的权利。
谁承担着AI算法的损害
有很多AI算法的例子，它们会提出愚蠢的购物建议，错误分类图像以及做其他愚蠢的事情。但是，随着AI模型在我们的生活中越来越根深蒂固，它们的错误正从良性向破坏性转变。
在书中，奥尼尔(O'Neil)探索了许多情况，这些情况会导致算法对人们的生命造成破坏。例子包括错误地对人进行惩罚的信用评分系统，根据种族和族裔背景对被告判处较重刑罚的累犯算法，最终会解雇表现出色的老师并奖励作弊者的教师评分系统以及可赚取数十亿美元的交易算法以低收入阶层为代价。
算法的影响加上缺乏透明度，导致创建危险的AI系统。例如，奥尼尔说：“新的累犯模型既复杂又数学。但是在这些模型中嵌入了许多假设，其中一些是偏见的，”并且补充道，“累犯模型的工作方式被隐藏在算法中，只有少数精英才能理解。”
基本上，这意味着AI算法可以根据种族来决定将其关押，而被告无法查明为什么他们被认为没有资格获得赦免。
还有两个因素使危险AI算法的破坏更加有害。
首先，数据。机器学习算法依赖于质量数据来进行训练和准确性。如果要图像分类器准确检测猫的图片，则必须为其提供许多带有标签的猫的图片。同样，贷款申请算法将需要大量的贷款申请及其结果(已付款或未偿还)的历史记录。
问题是，那些受到AI算法伤害的人通常是没有足够质量数据的人。这就是为什么贷款申请处理者可以为那些已经有足够的银行服务机会的人提供更好的服务，并对那些被大量剥夺了金融体系的没有银行服务的人和处境不利的人进行惩罚的原因。
第二个问题是反馈回路。当AI算法开始做出有问题的决策时，其行为会产生更多错误数据，这些错误数据又会被用于进一步完善算法，从而造成更大的偏见，并且循环不断地继续下去。
关于维持治安这一话题，奥尼尔认为，对犯罪的偏见预测会导致更多的警察在贫困社区居住。她写道：“这会造成有害的反馈循环。”警务本身会产生新数据，这证明了更多警务的合理性。我们的监狱里满是成千上万的被判无害罪行的人。”
当您对所有这些彼此分离且相互连接的AI系统如何相互了解产生更大的了解时，您将看到真正的危害是如何发生的。O'Neil总结了这种情况：“穷人更有可能信誉不好，生活在高犯罪率的社区中，周围有其他穷人。一旦大规模杀伤性武器的黑暗世界消化了这些数据，它就会在掠夺性广告中投放次级抵押贷款或营利性学校。它派出更多的警察逮捕他们，当他们被定罪后，将对其判处更长的刑期。该数据被输入到其他大规模杀伤性武器中，这些大规模杀伤性武器将同一人评为高风险或容易成为目标，并继续阻止他们工作，同时提高了他们按揭，汽车贷款和各种可能的保险费率。这进一步降低了他们的信用等级，创造的无非就是建模的死亡螺旋。在大规模杀伤性武器世界中变得贫穷变得越来越危险和昂贵。”
算法危害的爆炸性规模
“第三个问题是模型是否具有指数增长的能力。正如统计学家所说，它可以扩展吗?”奥尼尔写了“数学毁灭武器”一书。
考虑我们前面讨论的Google搜索示例。数十亿人使用Google搜索找到有关健康，政治和社会问题的重要问题的答案。Google的AI算法中的一个小错误会对公众舆论产生巨大影响。
同样，Facebook的排名算法决定了每天都有成千上万人看到的新闻。如果这些算法有问题，则可以通过恶意行为者利用它们传播虚假的，轰动性的新闻。即使没有直接的恶意意图，它们仍然可能造成伤害。例如，有利于吸引内容的新闻提要算法可以放大偏差并创建过滤泡，从而使用户对替代视图的容忍度降低。
当不透明和错误的Al算法确定了数亿人的信用分数或决定了该国教育系统的命运时，您便拥有了摧毁数学武器的所有要素。那么，对此应该怎么做?我们需要承认我们部署的AI算法的局限性。虽然拥有一个可以使您摆脱做出艰难决策的职责的自动化系统似乎很诱人，但您必须了解人类何时处于这些决策的接受端以及它们如何受到影响。
大数据流程整理了过去。他们不会创造未来。这样做需要道德的想象力，而这是人类所能提供的。我们必须明确地将更好的价值嵌入到我们的算法中， 。有时候，这意味着将公平置于利润之上。
