如我们所见,数据正在以前所未有的速度增长,IDC曾发布报告称,到2025年,全球数据圈预计将增长至175 ZB。如何在这样一个数据大爆发的时代夺得先机,充分把握数字红利,成为众多企业面临的一个重要课题。数据治理,可以说是企业实现数据资产变现这一过程中,具有奠基意义的一步。
什么是数据治理?
目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利用进行评估、指导和监督(EDM)的过程, 通过提供不断创新的数据服务, 为企业创造价值。[1]
DGI(Data Governance Institute,数据治理研究所)认为,企业不仅需要管理数据的系统,更需要一个完整的规则系统以及规章流程。数据治理基本上涵盖了企业所有与数据有关的内容,因此在整个企业范围内,包括工作流程、涉及人员和使用的技术等等,都需要经过仔细考量,以保证数据的可用性、一致性、完整性、合规性、和安全性,确保在整个数据生命周期中,都具有较高的数据质量。
总体来说,数据治理的目标就是提高数据质量,将数据价值最大化。具体而言,数据治理的任务包括以下几点[1]:
- 构筑适配灵活、标准化、模块化的多源异构数据资源接入体系;
- 建设规范化、流程化、智能化的数据处理体系;
- 打造数据精细化治理体系、组织的数据资源融合分类体系;
- 构建统一调度、精准服务、安全可用的信息共享服务体系。
为何数据治理如此重要?
分析机构BARC在一项研究中对全球378家公司进行了调查,96%的受访企业认为,数据治理已经不可或缺,而且未来将继续在企业中发挥核心作用。调查显示,合规性(64%)、更有效地使用数据(54%),以及与业务相关的内部和外部数据的不断增加(54%)是企业制定数据治理计划的主要驱动因素。
企业如果缺乏有效的数据治理策略,最直接的,将产生大量的“劣质”数据,这些数据的存在可能会带来更大的风险,更高的管理成本,更低的工作效率等等。甚至于,在数据分析如此盛行的当下,劣质数据将对企业决策产生消极的影响——错误的数据,得到错误的结果。
制定良好的数据治理计划,所带来的优势是非常显著的,主要有:
- 企业将获得更干净、质量更高的数据,为进一步的数据活动打好基础
- 标准化的数据资产管理方法、流程和策略,将有效提高数据运营效率
- 使数据更容易与业务建立紧密连系,推动数据资产的变现
- 提高数据安全性,保证合规性
总体来说,数据治理能够带来的好处就在于,更高效地帮助企业将数据价值转化成实际的业务价值。
数据“井喷”仍在进行,机器学习、AI等这类十分依赖数据质量的技术持续火热,全球数字化转型浪潮也在全面推进,由此可见,数据治理未来将继续在组织的数字战略计划中占有重要地位。
大数据时代,数据治理面临新的困境
数据治理并不是一个新词,最初企业中的数据治理是相对简单的。几乎所有被治理的数据,都是在企业内部的事务处理系统中生成,与现在相比,数据量较低,数据类型、IT环境也比较单一。随着IT技术的整体发展,特别是大数据时代的到来,数据治理的“担子”变得越来越重。
IT应用类型、数据源、数据分析方法不断增加,数据治理进入了一个新的变革和发展阶段。面向大数据的数据治理,应该具有更高的能动性,需要跟上更快的IT环境变化速度,做出积极的反应。可以说,在新的发展阶段,数据治理的各项要求将变得更加具有挑战性。
大数据治理必须跟踪跨多个平台的数据访问和使用情况,并减轻数据使用不当造成的风险。在大数据环境中,验证数据源并确保数据质量和数据完整性成为一个巨大的挑战;此外,海量数据的存储、如何最大化数据处理效率、保证数据可靠性与安全性也更具难度。