企业员工正以惊人的速度通过未授权和已授权的GenAI应用泄露敏感企业数据。堵住这些泄露至关重要，以降低风险暴露。
员工通过GenAI泄露数据正成为企业的噩梦。
根据Harmonic最近发布的关于GenAI数据泄露的报告，8.5%的员工向热门大型语言模型(LLM)发送的提示中包含敏感数据，这引发了安全、合规、隐私和法律方面的担忧。
Harmonic在2024年第四季度分析了数万个向ChatGPT、Copilot、Gemini、Claude和Perplexity发送的提示，发现客户数据(包括账单信息和认证数据)占泄露数据的最大比例，为46%。Harmonic特别指出，保险索赔是一种充满客户数据的报告类型，员工经常将其输入GenAI工具中以节省处理时间。
员工数据(包括薪资数据和个人身份信息PII)占敏感提示的27%，其次是法律和财务数据，占15%。
“与安全相关的信息占敏感提示的6.88%，尤其令人担忧，”报告称。“例如，渗透测试结果、网络配置和事件报告。这些数据可能为攻击者提供利用漏洞的蓝图。”
走出阴影
GenAI数据泄露是一个棘手的问题，也是企业GenAI战略让CISO陷入困境的主要原因之一。
企业LLM的使用大致分为三类：授权部署，包括许可和内部开发的实施，影子AI，通常包括企业出于合理原因禁止使用的免费消费级应用，以及半影子GenAI。
未授权的影子AI是CISO面临的主要问题，但最后一类问题日益严重，可能是最难控制的。半影子AI由业务部门负责人发起，可能包括未经IT批准的付费GenAI应用，用于实验、提高效率或增强生产力。在这种情况下，高管可能在进行影子IT活动，而一线业务员工则没有，因为他们被告知要使用这些工具作为企业AI战略的一部分。
无论是影子AI还是半影子AI，免费GenAI应用都是最成问题的，因为它们的许可条款通常允许对每个查询进行训练。根据Harmonic的研究，免费层级AI的使用占敏感数据泄露的最大比例。例如，54%的敏感提示是在ChatGPT的免费层级上输入的。
但大多数数据专家也劝阻CISO不要相信付费GenAI应用的合同承诺，其中大多数禁止在企业版本中对用户查询进行训练。
Carstens, Allen & Gourley知识产权律师事务所的律师Robert Taylor以商业秘密为例。他说，如果员工向GenAI系统提出一个问题，该问题揭示了商业秘密，那么各种法律保护(尤其是商业秘密保护)可能会丧失。他还补充说，保护知识产权的律师经常让团队成员向各种AI应用询问关于商业秘密的问题，以查看是否发现了禁止的数据。如果是这样，那么他们就知道有人泄露了信息。
如果竞争对手得知了泄露事件，它可以在法庭上辩称泄露事件使商业秘密的法律保护失效。据Taylor称，IP所有者的律师必须证明企业部署了一系列机制来保护秘密。依赖合同中禁止对GenAI查询进行训练的条款“并不是足够合理的努力水平”，Taylor说。
“这将是一个综合考虑各种情况的情况，”他说。企业必须部署并严格执行“限制员工使用数据的政策”。
数据意识实践
Forrester的副总裁兼首席分析师Jeff Pollard表示，CISO应与业务领导者合作，确保员工接受培训，以了解如何从LLM中获得相同结果而无需使用受保护的数据。这样做需要对提示进行更精细的处理，但可以保护敏感信息而不削弱AI生成答案的有效性。
“你真的不需要透露敏感信息就能从系统中获得正面收益，但我们必须培训用户了解查询措辞”策略，Pollard说。
当谈到员工使用免费AI工具而不是受限制的企业付费应用时，“打击员工是最明显的事情，但核心问题是：‘为什么员工要这么做?’”Gartner的杰出副总裁兼分析师Arun Chandrasekaran问道。
“员工之所以这么做，是因为IT没有为他们提供所需的工具。”他辩称。
Chandrasekaran表示，CISO应向他们的C级高管指出这一点，以帮助执行企业范围内的AI工具应“真正可用”的原则。
不幸的是，据软件供应商Unily的高级社区和合作伙伴营销经理Kaz Hassan称，对于GenAI来说，木已成舟。
“员工对AI的使用已经超出了IT团队追赶的能力，”他说。“IT团队知道情况不妙，但无法破解沟通、文化或战略方面的难题以产生影响。”
Hassan补充说：“需要一个新的蓝图，组织现在需要明确的AI战略来降低风险，并且需要立即将AI融入员工的技术堆栈中。”
他声称，典型的监控和控制应用未能抓住数据泄露的要点。
“高级用户通过未授权的AI工具处理敏感数据，不是因为他们无法被控制，而是因为他们不会被放慢速度。旧的限制和保护策略不仅失败了——它还在积极推动AI创新走向阴影，”Hassan说。“CISO需要面对这个现实：要么领导AI转型，要么眼睁睁看着自己的安全边界瓦解。”
Hassan指出，GenAI带来的数据问题有两个方向：敏感数据通过查询泄露出去，以及有缺陷的数据(无论是通过幻觉还是基于错误信息的训练)通过GenAI答案进入企业，而你的团队依赖这些答案进行企业分析。
“当今的CISO不应只担心敏感数据泄露出去，”Hassan说。“他们还应该担心坏数据进来。”
