如何提升数据质量更好地满足AI项目需求-多措并举提升数据质量

译者 | 崔皓

审校 | 孙淑娟

当今社会，人工智能的发展成为全球企业和政府关注的重点。然而，与人工智能息息相关的另一个问题却被忽视：数据质量差。

人工智能算法依赖可靠的数据来产生最佳结果——如果数据有偏差、不完整、不充分、甚至是不准确，会导致毁灭性的后果。

识别患者疾病的人工智能系统便是一个很好的例子，由于数据质量不高而导致不良后果。当数据不足时，这些系统会产生错误的诊断和不准确的预测，从而导致误诊和延误治疗。例如，剑桥大学对用于诊断 Covid-19 的 400 多种工具进行的一项研究发现，由于使用了缺陷数据集导致 AI 生成的报告完全无法使用。

换句话说，如果数据不够好，AI 计划将对现实世界产生毁灭性的后果。

关于什么是“足够好”的数据，人们一直存在巨大的争论。有人说不存在足够好的数据。另外一些人表示“太好”的数据会导致分析瘫痪（译者：应该是指过拟合）——而 HBR 则直截了当地指出，如果糟糕的信息会导致机器学习工具无法工作。

在 WinPure，将足够好的数据定义为“完整、准确、有效，可以放心地用于具有风险的业务流程中，数据水平取决于个人目标和业务环境。”

大多数公司在数据质量和治理方面饱受折磨，尽管他们都不会承认。这种折磨不断增加项目的紧张感，让他们不堪重负，可以想象他们正在承受着部署人工智能计划以保持竞争优势的巨大压力。可悲的是，像脏数据这类问题都不可能成为董事会讨论的议题，直到它导致项目失败时才有人会关注。

当算法以训练数据为基础来学习时，数据质量问题出现在流程的开始阶段。例如，如果向 AI 算法提供未经过滤的社交媒体数据，它会抽取滥用、种族主义评论和厌恶女性的言论，如 Microsoft 的 AI 机器人所表现的那样。最近，人工智能无法检测深色皮肤的人也被认为是训练数据问题导致的。

这与数据质量有何关系？

缺乏数据治理、数据质量意识淡薄和孤立的数据视图才是数据质量不佳的罪魁祸首。

当企业意识到数据质量出现问题时，他们会对招聘感到恐慌。通过盲目聘请顾问、工程师和分析师来诊断、清理数据，希望尽快解决问题。不幸的是，几个月过去了，尽管花费了数百万美元，但问题似乎并没有消失。对数据质量问题采取下意识的方法几乎没有帮助。

真正的改变从基层开始。

如果您希望您的 AI/ML 项目朝着正确的方向发展，请采取以下三个关键步骤。

首先，通过建立数据素养文化来评估数据质量。Bill Schmarzo 是这方面的有力代言人，他建议使用设计思维来创建一种文化，让每个人都能理解并为组织的数据目标和挑战做出贡献。

在当今的业务环境中，数据和数据质量不再是 IT 或数据团队的唯一责任。业务用户必须意识到脏数据问题以及不一致和重复的数据等问题。

因此，首先要让数据质量培训成为受到重视的组织工作，并使团队能够识别不良数据属性。

通过下面的清单，您可以使用它来跟踪数据质量。

关于数据质量问题，企业经常犯错误。例如聘请数据分析师来完成日常的数据清理任务，而不是专注于计划和战略工作。一些企业在没有计划的情况下使用数据管理工具来清理、重复数据删除、合并和清除数据。不幸的是，工具和人才不能孤立地解决问题。满足数据质量维度的策略才是解决问题的根本。

该策略必须解决数据收集、标记、处理以及数与AI/ML 项目匹配的问题。例如，如果人工智能招聘计划只选择男性候选人担任技术职位，那么该项目的培训数据显然是有偏见的、不完整的（没有收集足够的女性候选人数据）和不准确的。因此，这些数据不符合人工智能项目的真正目的。

对数据质量的要求已经超出了清理和修复数据的日常任务。所以，需要在开始项目之前设置数据完整性和治理标准。它使项目免于陷入失败的境地！

对于“足够好的数据或数据质量水平”没有通用标准。相反，这一切都取决于企业的信息管理系统、数据治理指南，以及团队和业务目标的知识，甚至许多其他因素。

不过在启动项目之前，有几个问题要问团队：

提出正确的问题、分配正确的角色、实施数据质量标准并帮助团队在问题出现之前应对挑战！

数据质量不仅仅是修复错别字或错误那么简单。它确保人工智能系统没有歧视性、误导性或不准确性。在启动 AI 项目之前，有必要解决数据中的缺陷从而应对数据质量的挑战。此外，启动组织范围内的数据素养计划，将每个团队与总体目标联系起来。

崔皓，51CTO社区编辑，资深架构师，拥有18年的软件开发和架构经验，10年分布式架构经验。