尽管深知风险,高管们仍在积极推动各种GenAI的部署和实验,而CISO们则被迫承担起风险管理的重任。
对于GenAI的潜力,高管的看法对许多CISO来说犹如迷人的海妖之歌。
根据NTT Data最近的一项调查,89%的高管“非常担心与GenAI部署相关的潜在安全风险”,但报告发现,这些同样的高管认为“GenAI的潜力和投资回报率超过了风险”——这种情况可能让CISO成为风险管理理性声音中的孤勇者。
而且,这可能已经产生了负面影响,因为根据调查,近一半的企业CISO“对GenAI持负面看法”,感到“压力重重、受到威胁、不堪重负”。
这种冲突并不陌生,高管们向业务部门负责人施压,要求他们采用新技术以提高效率并提升业绩,但GenAI是一项风险极高的业务——可以说比迄今为止的任何技术风险都高,它会产生幻觉、绕过防护栏、危及合规性,并吞噬敏感的企业数据,而企业在未进行适当安全加固的情况下迅速接纳它,同时受到供应商推动,这些供应商强调功能而非安全。
Moor Insights & Strategy的副总裁兼首席分析师Will Townsend表示:“这是蛮荒的西部,大量的AI应用和大型语言模型选择让人难以审查哪些是安全的,还有一些应用看似合法,实则是数据外泄和勒索软件攻击的阴谋。”“对数据泄露的担忧是真实的,我们已经看到这种情况发生,同时伴随着通过提示注入攻击引入恶意代码。”
Townsend表示,CISO面临的最棘手的GenAI问题之一是,许多GenAI供应商在选择用于训练模型的数据时过于随意。“这会给企业带来安全风险。”
资深安全领导者Jim Routh曾在Mass Mutual、CVS、Aetna、KPMG、American Express和JP Morgan Chase担任过CISO级别的职务,他表示,GenAI渗透到SaaS解决方案中使问题更加严重。
如今担任安全供应商Saviynt首席信任官的Routh表示:“GenAI的攻击面已经改变。过去是企业用户使用最大供应商提供的基础模型。如今,数百个SaaS应用程序嵌入了大型语言模型(LLM),并在企业中广泛使用,软件工程师在HuggingFace.com上有超过100万个开源LLM可供使用。”
Robert Taylor是一名专注于AI和网络安全法律策略的律师,并在达拉斯的知识产权律师事务所Carstens, Allen & Gourley担任法律顾问,他表示,他在各种规模的企业中各层级都看到了一个共同的主题。
Taylor说:“他们不知道自己不知道什么,至少CISO已经准备好考虑风险,并对AI带来的安全风险有所了解,但AI带来了许多新的安全风险,他们正在努力应对,有一些项目正在评估GenAI产生的多种类型的安全风险,我听说安全风险类别数以百计,甚至远远超过一千种。”
Townsend推测,所有这些都可能对CISO的心理产生负面影响。“当他们感到不堪重负时,他们就会放弃,”他说,“他们会做自己觉得能做的事,而忽略那些他们觉得无法控制的事。”
问题日益加剧
与此同时,在高管们不断推进的同时,让他们的CISO因风险而不堪重负,而攻击者则在迅速行动。
Taylor表示:“不法分子正在狂热地试图以恶意方式利用这些新技术,因此CISO们有理由担心这些新的GenAI解决方案和系统如何被利用。”“GenAI解决方案不是传统的软件和服务,它们有一些其他技术不必应对的漏洞。”
Taylor认为,更糟糕的是,与传统技术风险相比,GenAI的风险更加无形且不断变化。
Taylor说:“GenAI在部署后会继续变化,这进一步增加了安全风险的机会,如提示注入、数据投毒以及从与GenAI共享的信息中提取机密信息或个人身份信息(PII)。”
Forrester的副总裁兼首席分析师Jeff Pollard指出,特别是提示安全,“如果企业有面向客户或面向员工但影响客户的提示,可能导致未经授权的数据访问或披露,那么提示安全就是立即且必要的。”
Pollard表示,而且这个问题很快就会变得更加严重。“重要的是现在就要学会如何保护这些,因为这是第一个可能在企业中广泛部署的GenAI版本。具有主体性的AI很快就会到来——如果它还没有到来的话,这将需要这些控制措施以及更多措施来确保正确安全。”