审核AI系统时要提的九个问题

译文 精选
人工智能 机器学习 深度学习
审核您的AI和大数据可能是个难题,但提几个问题可以帮助您走上合规和治理道路。

翻译:布加迪

策划:千山  

大多数公司每年都对记录数据系统进行IT审核。但审核人工智能和大数据,同时确保它们符合足够的安全和治理要求却是一项有待完善的工作。

  好消息是,许多公司已经有诸多实践成果可运用于AI和大数据。这些实践体现在可适用于AI和大数据的IT政策和程序中。在专业审核公司提供的AI和大数据服务很有限时,这一切极其有帮助。

  以下是公司可以用来自我审核AI和大数据的九个问题和方法:

  1. 您知道自己的数据来自哪里吗?

  许多公司从业务运营获取自己的数据,但也从外部供应商处购买和使用数据,用于AI和分析。在将数据用于AI和分析之前,应评估来自外部的所有数据的可信度和数据质量。审核来自第三方的数据应该是每份采购需求表(RFP)的一部分。

  2. 您是否解决了数据隐私?

  您可能与客户谈妥了自己的数据隐私规则和协议,但是面对可能没有同样数据隐私标准的外部业务合作伙伴时,这些数据隐私权会面临问题。在这种情况下,不仅IT部门应该有确保数据隐私的政策和程序,公司法务和合规部门也应该有这类政策和程序,以确保其数据可能被使用、匿名或共享的客户了解这一事实。

  3. 您有锁定程序吗?

  物联网和边缘计算设备将日益为系统带来非结构化大数据。由于这些是移动的分布式设备,它们很容易丢失、中招或放错地方。至少,IT部门应该有一种方法来跟踪这些设备及使用情况,一旦被报告丢失或放错地方就锁起来。

  4. 所有IT系统是否都符合您的安全设置?

  许多边缘计算和物联网设备以及路由器和集线器都有厂商的默认安全设置,它们不符合企业安全标准。作为安装过程的一部分,IT部门应添加这一步:检查默认安全设置,然后将其设为企业安全设置之后再部署。

  5. 您的数据有多干净?

  适当级别的数据清理应落实到位,可能涉及数据丢弃、数据规范以及使用ETL(提取转换加载)工具等。这是为了确保进入您的分析和AI系统的数据尽可能“干净”、准确。

  6. 您的AI有多准确?

  AI系统中使用的算法和数据在不断变化,因此对AI而言今天正确的假设明天可能不适用了。AI 还可能含有无法立即检测到的偏误。因此,监控和修改AI算法、查询和数据的流程必须是持续不断的。应落实一套AI程序,用于定期“调整”AI数据和操作。

  7. 谁有权接触您的大数据和AI?

  所有大数据存储库以及AI和分析系统都应进行24/7全天候监控,以确保只有授权使用数据和系统的用户才能访问它们。

  8. 您的AI是否在履行使命?

  至少应每年评估一次AI系统,以确认它们满足业务的需求和使命。如果未满足,应修改或丢弃它们。

  9. 如果AI出现故障,您可以进行故障切换吗?

  如果您将AI操作嵌入到业务流程中,灾难恢复计划应考虑到这些系统无法运行的情况。如果系统出现停机,您会怎么做?会有快速上线的备份系统吗?还是一套手动程序(以及知道如何执行这些程序的员工)可以接过任务,直至AI系统恢复过来?公司能否将AI做出的决策推迟到系统恢复正常?要为IT和业务部门明确列出停机后应采取的一套程序。

  原文标题:9 questions to ask when auditing your AI systems,作者:Mary Shacklett

责任编辑:张洁
相关推荐

2019-04-14 17:23:34

灾难恢复备份数据安全

2016-04-25 11:37:10

开发团队问题

2021-03-26 12:48:35

云迁移云服务云计算

2017-02-22 08:52:32

开源谷歌大数据

2021-12-03 15:00:18

人工智能自然语言机器学习

2022-10-20 08:34:09

图像算法商品

2024-09-18 06:20:00

2023-09-05 15:09:31

人工智能

2018-05-08 09:00:00

系统更新

2022-07-24 00:16:12

云计算FinOps云软件开发

2019-04-11 13:25:58

2018-10-05 22:56:43

人工智能AI会话式人工智能

2011-07-15 08:52:45

UML工具

2021-03-09 09:52:55

技术React Hooks'数据

2023-08-02 10:45:43

2022-08-18 09:15:17

招聘IT专业人士

2023-11-22 13:33:22

VS Code人工智能插件

2011-10-10 09:18:53

云计算服务器

2012-10-30 09:36:53

VDI存储虚拟化

2011-08-01 14:33:44

SQL
点赞
收藏

51CTO技术栈公众号