2024 年亟需解决的AI引擎和软件开发安全问题

人工智能 安全
由于威胁行为者会想方设法利用AI/ML 模型,威胁将持续困扰着安全团队。随着安全威胁的数量不断增加,规模不断扩大,在2024 年开发者将更加重视安全性,并部署必要的保障措施,以确保其企业的弹性。

作者 | JFrog大中华区总经理董任远

随着AI应用的规模不断扩大以及大语言模型(LLM)的商品化,开发者越来越多地承担起将人工智能(AI)和机器学习(ML)模型与软件更新或新软件一起打包的任务。虽然AI/ML在创新方面大有可为,但同时也加剧了人们的担忧,因为许多开发人员没有足够的带宽来安全地管理其开发。

安全漏洞可能无意中将恶意代码引入 AI/ML 模型,从而使威胁行为者有了可乘之机,引诱开发者使用开放源码软件模型变种,渗透企业网络并对组织造成进一步损害。甚至还有开发者越来越多地使用生成式AI来创建代码,却不知道自己生成的代码是否受到威胁的情况,这同样会导致安全威胁长期存在。因此,必须自一开始就对代码进行适当的审查,以主动降低软件供应链受到损害的威胁。

由于威胁行为者会想方设法利用AI/ML 模型,威胁将持续困扰着安全团队。随着安全威胁的数量不断增加,规模不断扩大,在2024 年开发者将更加重视安全性,并部署必要的保障措施,以确保其企业的弹性。

开发者的角色演变

对于开发者来说,在软件生命周期初始阶段就考虑到安全性是一种相对较新的做法。通常情况下,二进制级别的安全性被认为只是“锦上添花”的存在。而威胁行为者会利用这种疏忽,寻找将ML模型武器化以对抗组织的途径,找出将恶意逻辑注入最终二进制文件的方法。

同样,许多开发者由于没有接受过必要的培训,无法在开发的初始阶段就将安全性嵌入到代码中。由此造成的主要影响在于,由AI生成并在开源存储库上训练的代码通常没有经过适当的漏洞审查,且缺乏整体安全控制来保护用户及其组织免受利用。尽管这可能会节省工作职能中的时间和其他资源,但开发者却在不知不觉中将其组织暴露在众多风险之下。一旦这些代码在AI/ML 模型中实现,这些漏洞利用就会造成更严重的影响,而且有可能不会被发现。

随着AI的广泛应用,传统的开发者角色已不足以应对不断变化的安全环境。步入 2024 年,开发者也必须成为安全专业人员,从而巩固 DevOps 和 DevSecOps 不能再被视为独立工作职能的理念。通过从一开始就构建安全解决方案,开发者不仅能确保关键工作流的最高效率,还能增强对组织安全性的信心。

通过“左移”,自始就安装保障措施

如果安全团队要在新的一年里对威胁保持警惕,那么 ML 模型的安全性就必须持续发展演进。然而,随着AI的大规模应用,团队不能在软件生命周期的后期才确定必要的安全措施,因为到那时,可能就真的为时已晚了。

组织内部负责安全方面的高层必须以“左移”的方式进行软件开发。通过坚持此方法,即能够自一开始就确保软件开发生命周期中所有组成部分的安全,并从整体上改善组织的安全情况。当应用到AI/ML时,左移不仅能确认外部AI/ML系统中开发的代码是否安全,还能确保正在开发的AI/ML模型不含恶意代码,且符合许可要求。

展望 2024 年及以后,围绕AI和 ML 模型的威胁将持续存在。如果团队要持续抵御来自威胁行为者的攻击并保护组织及其客户,确保自软件生命周期之始就考虑到安全性将是至关重要的。

责任编辑:庞桂玉 来源: JFrog
相关推荐

2022-08-30 18:46:24

安全软件开发测试软件

2018-05-18 10:10:05

开源

2020-05-31 14:02:50

人工智能开发工具

2024-11-07 12:14:36

2010-08-30 12:08:05

2021-09-10 22:33:10

人脸识别漏洞安全

2010-07-06 16:34:47

NetBIOS协议

2009-07-07 13:29:33

Servlet和JSP

2023-12-31 12:11:07

AI工具人工智能

2022-04-26 06:42:02

AI安全NIST网络安全

2022-07-19 16:31:29

软件开发Kubernetes容器

2011-08-29 10:34:00

网络安全云安全云计算

2015-08-17 10:19:24

2010-07-21 15:04:46

2012-12-12 15:19:32

云安全

2024-09-17 17:50:28

线程线程安全代码

2012-08-06 11:08:14

2014-07-28 11:18:30

件测试云计算云测试

2014-11-20 09:52:51

2009-07-03 14:02:51

点赞
收藏

51CTO技术栈公众号