用AI识别内部人威胁面临的道德规范

安全 应用安全 人工智能
还记得汤姆·克鲁斯的《少数派报告》吗?人工智能可识别昭示未来风险的员工行为。该如何有效且有道德地使用这一数据呢?

还记得汤姆·克鲁斯的《少数派报告》吗?人工智能可识别昭示未来风险的员工行为。该如何有效且有道德地使用这一数据呢?

[[242441]]

为保护公司网络不受恶意软件、数据渗漏和其他威胁的侵害,安全部门设置了多套系统以监视电子邮件流量、URL和雇员行为。运用人工智能(AI)和机器学习(ML),这些监视数据也能用于预测,看员工是否计划盗取数据、欺瞒公司、参与内部人交易、性骚扰其他员工等。

随着AI越来越强大,公司企业需作出道德上的判断,确定如何使用该新能力监视员工,尤其要确认该注意哪些行为,以及确定何种干预才是恰当的。信息安全团队将奋战在AI运用第一线。

事实上,某些有关员工行为的预测现在就可行了。比如在员工提交离职申请之前就预判其辞职意图,已经是相当容易做到的事。某财富500强公司在10年前就开始做员工离职意图预测,可靠性相当高。

我们来举个例子,即将离开公司的雇员会向其私人邮箱发送更多带附件的电子邮件。安全团队需对此多加关注,因为有意离职的员工可能想要在离开时带走一些敏感信息,会试图在向经理透露离职计划前早点儿下载好所需一切。

这种安全上的顾虑并非空穴来风,而员工也早就知晓公司的工作邮箱监控政策。大多数情况下,如果公司知道某员工打算离职,会将其放入高风险用户列表中加以更加严格的管控。

信息安全人员不会向该雇员的经理透露其离职意图。但如果该雇员在偷取公司信息,情况就不同了,安全团队会向经理发出警报,并与涉事员工商谈此事。

什么情况下可以读取雇员电子邮件?

大多数公司都会告知员工他们的电子邮件通信和互联网使用情况处在公司监视之下。很少有公司会密切关注员工的个人通信。即便使用AI和ML发现网络威胁,也不会去读取员工的电子邮件内容。

比如说,公司企业可以从员工的日常行为中判断出某人是否在找寻其他工作机会,但这种判断未必准确,因为员工可能得不到另谋高就的机会,或者拒绝其他公司的聘请。

数据科学家如今对人的理解比以前更加完备了。如果有人怀疑自己可能得了癌症,他们或许会上网查找相关信息,监视搜索动作就有可能在他们证实自己的病情之前就了解到这事儿。

还有的公司想要预测更多,比如员工是否吸毒、是否招妓、是否有办公室恋情等等。

对员工行为监视太紧的风险之一,是可能会伤害到员工士气。员工确实或显式或隐式地同意被监视。监视是合法的,没有问题,他们签署了这项权利。但没人会去读取他们的邮件内容,公司也一直在提醒员工他们的邮箱是被监视的。

在某些领域,比如金融服务业,雇员会定期收到自己的通信处于监视之下的提醒。绝大多数工作场所都会反复提醒员工这一点。

不仅仅是电子邮件和浏览历史会馈送给AI系统。将同样的智能和分析工具应用到从其他源收集来的雇员软性数据上并不是太难。这些软性数据包括与其他雇员的互动、从安全摄像头和大楼访问控制系统中抽取的信息等等。

什么时候针对预测采取行动?

一旦公司收集并分析了数据,形成了有关某些潜在危险行为的预测,可以采取一些相应的措施加以应对,轻至忽略预测,重至开除员工。

一些情况下,公司企业不应越过法律界限,比如怀孕就是一种受保护的状态,因为员工搜索生育相关的公司就炒掉员工,是不可取的行为。

其他情况则更多属于灰色地带。比如,某员工计划渗漏敏感数据,或者在公司服务器上安装未经允许的加密货币挖矿软件。这种情况会引起安全团队的注意。是否需要干预取决于他们会不会带来伤害。直接炒掉,或者报告他们的经理,可能会令他们背上污名。

处理潜在有害行为的一种方法,是查看其是否是更严重问题的表征。如果有员工计划在公司服务器上安装加密货币软件,或许想这么干的人不止被发现的那几个。

这种情况下,公司可以考虑采取更为广泛的响应。比如在全公司范围内设置网络限速,这样就不会凸显出被预测想装挖矿软件的那些员工,他们不会因为尚未实施的罪行而受到惩罚。

类似的,如果某雇员想要离开公司,可能别的雇员也有想走的意愿,只是表现得没那么明显。可以对他们采取些有用的措施,比如正向干预,避免影响到他们的名誉和工作。

有时候会很难下决定。比如性骚扰,即便有相当程度的预测准确性,在“我也被骚扰”时代,揭示该预测结果肯定会对公司产生影响。这是个在道德上比较两难的领域。

介入并惩罚“未来的”骚扰者,或者调离即将被骚扰的目标对象,可能会影响到公司。应与专精此类非共识性关系的社会科学家合作,找出既不因未发生的事惩罚某人,又切实消除可导致性骚扰发生的其他因素的介入方式。

洛杉矶郡人力资源部现在就很关心这个问题。洛杉矶郡有11.1万名雇员,目前正在更新有关人际关系的策略和规程以防止雇员遭到伤害。

无论政府部门还是私营产业,洛杉矶郡在平等问题上一直都是急先锋,推动了很多数字化转型项目,还将AI用到了HR调查中。

过程自动化和行为模式分析也是洛杉矶郡想要部署的技术。但目的不是个人化跟踪和分析,这有违道德准线和法律准绳。技术不是用来预测个人行为的。

相反,引入AI、自动化和行为分析等技术,是要找出特定行为模式的贡献因素,找到行为集群,创建训练策略和干预方法,强化良性行为并最少化恶性行为。

洛杉矶郡使用OpenText的技术跟踪人们的桌面电脑和电子邮件使用情况,在趋势形成过程中看清趋势本身,也就是在事发前主动作为,而不是事发后亡羊补牢。

但也有些情况是可以立即采取个人干预的,那就是在网络安全领域。如果员工的行事方式昭示着潜在安全问题,那么与该员工或其经理谈话就是比较合适的处理方式。可以问问是否有什么业务上的原因让他们这么做,或者是不是有什么不太好的事情发生。

如果某员工在用另一个人的电脑,从非常规地点登录,并试图导出大量数据,这有可能是良性的,也有可能是安全问题的指征。这种判断与用AI和ML做确定性判定不一样。当前的AI和ML还做不到动机判断。

比较合适的起点就是假设这些行为是中性的。这是与既当法官又当陪审团的《少数派报告》的最主要差异。

寻求隐私专家的帮助

3年前,美国第三大健康保险公司Aetna开始寻找更好的身份验证技术。

为辅助身份验证,Aetna广泛收集客户和员工的行为数据。技术可以捕获行为信息,但某些属性并非良性,可破坏个人隐私。

这些行为信息,若加上机器学习分析,可令公司企业深入了解个人。或许了解到超出法律允许范围的程度。为避免出现类似《少数派报告》中的情况,Aetna对所收集信息的类型和使用方法都做了限制。

首先,该公司引入一些专家,秉承公司核心价值来确定应该收集和不应当收集的数据点。首席隐私官及其团队都被纳入进来,帮公司挑出那些不会引发隐私问题的数据点。最终有20-25%本可以捕获的属性被剔除了。

例如,消费者和雇员的浏览器历史信息就是可以收集而未被纳入的一类。

其次,移动App之类收集的行为信息经处理,以便留下每位用户的行为模式,而要评估的新行为模式,则从不暴露。只要这些信息有丁点儿暴露,就毫无隐私敏感性可言了。这就是一堆数字和公式。比如,地理定位的使用就很谨慎,只用于做对比,从不存储。

即便黑客深入风险引擎系统,能够解码公式,这些公式也是随时在变的。公司价值有助确定实际控制措施的设计。Aetna设计了可接受算法公式而非实际属性和特征的风险引擎。

有关AI在员工行为预测中的用法,任何公司的策略都应把公司价值和透明性,还有人的判断,放在核心位置。AI应被看作是有指导的学习系统,由人做出最终决策。基于透明性和价值统一建立起道德策略,并通过保留人在预测过程中的位置来实施该策略。

使用行为数据有哪些法律问题?

使用AI预测并阻止危险雇员行为的公司企业,需做好保护雇员、客户及公司本身,与维护雇员人权之间的平衡。有迹象表明美国法律可能朝着严加保护个人隐私的方向发展,包括雇员的个人隐私。

另外,AI技术本身也可能并不准确,或者说,不公平。举个例子,如果测试发现从台位上站起次数越多就越有可能是骚扰者,而一部分女性因为怀孕或挤奶而不得不频繁站起,那测试对怀孕女性就不公平了。如果测试可靠、有效、无偏颇,雇主就可以像使用其他性格测试或任意可观方法一样,用该测试来针对所标出的人了。

关键就在于规则应用的一致性。如果雇主想要基于AI学到的东西(比如AI标记不恰当网上言论)采取行动,就得确定出能触发行动的阈值,然后确保在以后的案例中一直照此执行。

所采取的动作也需恰当可行。比如说,如果有人告诉HR某同事利用病假去旅行,恰当的响应应该是去调查,即便尚无任何确切证据指征不当行为。纪律处分应在调查之后进行。

雇主是不是通过AI系统获知潜在不当行为倒是无关紧要。关键在于处理过程中的风险和一致性。

如果AI预测准确,而公司没能做出保护员工的举动,那就有可能导致法律责任了。比如说,如果公司知道或应该知道有员工会性骚扰其他员工或对同事做出不当举动,那公司可能面临“留任失当”的起诉。虽然这些起诉通常五花八门难以证明,当涉及监视雇员社交媒体使用和在线发帖情况的时候,雇主就已经某种程度上面临这种问题了。

公司企业应谨慎选择用AI监视雇员以预测潜在不当行为,除非工作场所AI使用方面的法律更加明确,且AI系统被证明是可靠的。否则,公司或许要为依赖有可能影响到部分人群的系统而担责。

【本文是51CTO专栏作者“”李少鹏“”的原创文章,转载请通过安全牛(微信公众号id:gooann-sectv)获取授权】

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2021-09-05 15:28:05

自动驾驶伦理学道德规范

2018-03-02 06:30:13

2018-10-19 11:36:54

2022-06-16 21:01:32

人脸识别人工智能生物识别

2022-05-26 05:24:56

人工智能面部识别AI

2011-11-19 20:17:34

2022-02-14 18:41:59

物理隔离内网安全网络安全

2024-12-13 15:41:46

2012-11-01 14:33:09

2021-06-25 18:38:58

云主机

2009-10-29 17:03:42

2020-08-07 11:16:31

网络安全防御技术

2010-08-18 15:07:35

2022-07-01 12:25:34

AI机器学习系统

2022-03-29 14:35:17

企业安全方法混合劳动力

2022-05-31 15:14:44

人脸识别系统人工智能

2020-06-22 08:37:52

人工智能

2022-02-23 12:01:41

内部威胁数据泄露

2021-09-09 15:31:30

智能建筑黑客攻击

2020-10-20 15:29:47

云计算云安全技术
点赞
收藏

51CTO技术栈公众号