AI攻击会先确定目标，然后获得反馈，不断优化提升。如果某一天AI能开发出完全新颖的解决方案，甚至开始优化方案，那其杀伤力将是巨大的。
系统模糊性是当前防御AI黑客的屏障
对于围棋之类的游戏，规则、目标、反馈都算是简单的，确定的，没有什么外在的东西搅局，输或者赢就是反馈。GPT-3 AI可以写连贯文章，因为它所在的世界只有文本。正因如此，当前的黑客奖励活动有许多是在模拟环境下进行的，全是人为、全都受约束，所有规则都是为AI准备的。
系统的模糊性才是关键所在。我们可以将全球的税法全部输入AI，因为税法里有公式，用来确定欠了多少税。即使如此，所有法律都有模糊性。模糊很难转化为代码，AI处理起来很棘手。所以即使有了AI，在可预见的未来还是需要大量税务律师。
大多的人类系统模糊性更强。AI能不能成为现实世界体育比赛黑客（比如曲棍球比赛）？恐怕很难。AI必须理解游戏的规则，但还远远不够，它还要理解人体生理学、球杆和球的空气动力学，等等。当然我们不能说绝对不可能，但肯定比应付围棋要难得多。
在短期内，正因为社会系统极为复杂，存在模糊性，增强了系统对AI黑客的防御力。未来一段时间不太可能会有AI体育黑客出现。如果机器人亲自参与比赛，或者未来某一天AI极为先进，能从所有维度理解广阔世界，那时也许会有AI体育黑客诞生。
同样的，赌场AI黑客、法律程序AI黑客也不太容易开发。AI想模拟个体或者群体工作还需要很长时间，暂时做不到。
但不要低估AI的非线性进化能力
世界到处是AI黑客，这是一个科幻问题，但它并不是愚蠢的科幻问题。AI飞速提升，它的进步是不稳定、不连贯的。我们原本认为很难的问题可能是容易的，认为容易的也可能被证明是很难的。几十年前我们可能会嘲笑AI，认为它不可能征服围棋，因为围棋太复杂：不是说规则复杂，而是棋步的可能性太多。现在呢？AI已经拿下围棋。
所以说，我们应该提前思考AI黑客问题，早早准备预案。
首先我们应该重视的可能是金融系统中的AI黑客，因为金融系统的规则容易被算法利用。高频率交易算法就是一个好例子，未来它会变得更复杂。我们可以用全球的金融实时信息武装AI，加上全球的法律法规，加上新闻信息，加上其它相关信息，然后指派AI完成一个目标，追求“最大的合法利润”或者“尽可能获得最大的利润”。到时可能会有一些黑客行为超出人类的理解，也就是说人类根本意识不到黑客行为发生了。当然，这样的事情现在看来还有些遥远。
在短期内，AI可能会配合人类完成黑客攻击。AI可以寻找漏洞，有经验的会计师或税务律师协作，利用丰富经验判断是否可以利用漏洞牟利。
成熟AI黑客的杀伤力不可估量
纵观人类历史，黑客攻击一般都是人类行为。AI如果开始发起攻击，一切都会改变。AI不会限定于相当的方式，不会像人一样受到诸多限制。AI根本不休息，它们像外星人一样思考，它可以以人类无法预料的方式黑掉系统。
计算机会在四个维度增强攻击：速度、规模、范围和复杂度。AI可以将攻击力增强很多倍。
速度：人类发起攻击可能要几个月甚至几年，AI不需要，几天、几小时甚至几秒都有可能。例如，如果你把整个美国税法全部输入AI，命令它找出一套方案，将某个人的税款降到最低，会怎样？如果是跨国公司，可能会让AI分析全球的税法，给企业降税。
规模：一旦AI找到了漏洞，它可能会以超大规模利用漏洞。当AI开始闯入金融系统，它们会统治整个行业。到时信贷市场、税法、普通法律都可能向富人倾斜。AI会让不平等加剧。最先出现的AI金融黑客可能不是追求平等的研究人员开发的，而是跨国银行、对冲基金、管理顾问。
范围：社会的确有一套方案应对黑客，但应付的主要是人类黑客，是人类速度的攻击。如果AI可以快速从税法中找到几百个漏洞，国家如何应付，修正税法的速度根本跟不上。
复杂度：在AI的辅助下，人类黑客可以发起复杂攻击，其复杂度超过无辅助人类的理解水平。人工智能的复杂统计分析可以揭示变量之间的关系，找到隐藏漏洞，即使是最好的战略家和专家也可能没有意识到漏洞的存在。
当AI以超快速度、超大规模、超广范围、超高复杂度发起攻击时，社会可能根本无法处理。AI会不会突破人类的限制甚至统治社会？一些AI研究人员的确感到担忧。虽然现在听起来像是猜测，但人类早早预防还是有必要的。（晓歌）
