万字长文 | 数据治理“三字经”,赋能实践路更明!

原创 精选
大数据
在当今数字化时代,数据是企业最不可或缺的宝贵资源之一。然而,随着数据量的迅猛增长及其复杂性的日益提升,如何高效地管理、充分利用并妥善保护这些数据,已成为企业亟待攻克的一大难题。

作者 | 韦真

在当今数字化时代,数据是企业最不可或缺的宝贵资源之一。然而,随着数据量的迅猛增长及其复杂性的日益提升,如何高效地管理、充分利用并妥善保护这些数据,已成为企业亟待攻克的一大难题。

互联网上有多篇文章引用了Gartner的研究成果,指出全球约有90%的数据治理项目未能实现预定的商业价值目标。这一令人震惊的失败比例,归因于多种复杂因素的相互作用,包括组织文化的滞后、战略目标的不明确、技术层面的重重障碍以及工具选择的不当等。

尽管数据治理项目面临着极高的失败风险,但这并不意味着所有项目都注定会以失败告终。通过采取周密的规划布局、明确的目标设定、科学的方法运用、合理的资源投入,以及对数据治理全过程的持续监控与不断优化,我们完全有能力将项目的成功率提升至新的高度。

所谓“数之初,量本小。猛增长,遇瓶颈。缺管理,实难控。若不治,随可崩。若广治,惧其繁。治之道,贵以专”。

在此,笔者并非要探讨那些前沿的创新理念和学术概念,而是想借助自身在数据治理领域的实战经验,通过一种更为生动、贴近实际且富有故事性的方式,与大家分享那些曾经使数据治理工作成功实施并取得显著成效的宝贵经验和心得。

数据治理体系

以道家思想为指引,构建企业级全景式、全链路的数据治理体系,全面涵盖“战略引领、机制保障、措施落实、工具支撑”四大核心层面,推动企业提升数据管理能力的成熟度,有效防控数据风险,促进数据的深度挖掘与价值潜能的最大化释放。

  • 道:制定数据治理战略目标,统筹顶层蓝图规划

深入研究并广泛借鉴数据治理领域的权威指南、业界积累的丰富经验以及行业内公认的最佳实践,是企业制定一套科学、有效的企业数据治理战略的关键所在。企业需要梳理当前数据治理存在的短板与不足,通过全面对标行业标杆与先进实践,精准识别差距所在,进而量身定制一套符合企业自身实际情况的数据治理体系和目标。

  • 法:构建数据治理运营机制,提升数据治理效能

构建一套灵活的数据治理运营机制,是增强数据治理效能的关键手段。企业需从组织架构、责权利分配及跨组织协作流程等多个层面进行深入分析与明确界定,持续审视并优化现行的数据治理机制,以确保数据治理的每个步骤均符合既定标准、法律法规,并充分满足企业内外部的数据治理需求。

  • 术:贯彻落实数据治理措施,开展专项治理行动

企业基于既定的数据治理目标和机制,制定出有利于数据治理实施的运营策略和执行路径。依据数据治理任务的紧迫程度和重要性,采用项目工程化的思维,合理有序地开展一系列针对性强的数据治理专项活动,确保每一项活动都紧密围绕当前最迫切需要解决的数据问题。

  • 器:打磨数据治理智能工具,助力高效治理实施

数据治理工具在确保数据治理活动高效实施方面扮演着重要角色,其显著提升了数据治理效率与精确度。企业通过工具的精准度量和监控机制,助力增强数据治理评估的准确性,并促进决策制定的科学性。此外,数据治理工具能够自动化处理大量低效且重复的工作任务,有效降低人力成本。这使得数据治理人员得以摆脱繁琐的日常操作,将宝贵的时间和精力集中于数据业务工作上。

数据治理框架

基于企业战略和数据要素发展情况,构建“组织制度、治理运营、治理工具”三位一体的数据治理框架,确保数据管理活动始终处于规范、有序和可控的状态,为企业的数字化转型和发展提供有力支持。

所谓“定战略,树文化。建制度,设流程”。

企业在数据治理战略指引下,积极营造数据治理文化氛围。在组织制度方面,企业需要明确数据治理的组织架构,包括设立专门的数据治理委员会或数据管理部门,并明确其责权利。同时,制定和完善相关的数据管理制度、流程和标准,确保数据从采集、存储、处理到应用等各个环节都有章可循,有据可依。

尤其值得强调的是,数据治理的成功关键是三分工具建设加七分运营实施。

数据治理并不是简单地搭建信息技术平台即可,更重要的是紧密围绕真正的治理目标,借助科学合理的治理运营策略,并有效推动落实各项数据治理工作的深入开展。

所谓“工具易,运营难”。

当前很多企业立项采购了数据治理工具,但是没有真正的使用起来,而工具厂商往往没有足够的权力和资源驱动治理运营,对企业的数据中台和数据业务也不够熟悉,这也是很多数据治理项目失败的重要原因。

所以,企业需要打破一味追求平台建设的固有模式,避免单纯以平台部署为目标,应将重心转向数据治理运营,而数据治理工具更多的是作为一个辅助手段。

笔者曾将数据治理项目分为治理运营项目和产品工具项目来立项,或是以治理运营项目立项为主,如果有涉及工具建设的内容可以打包进来。

一年下来,大概会立20多个大大小小的治理运营项目,都是为解决数据问题、业务问题和企业经营问题服务的,这才是终极目标,因此也更容易获得公司领导层的大力支持。

所谓“高层挺、强执行”。

笔者曾向集团总裁写了半年的数据治理双日报,详细汇报数据治理的进展,并定期组织集团级的数据治理会议,可见领导层的重视程度。在数据治理运营实施过程中,领导层多次询问团队是否遇到困难、是否需要公司层面的协调支持。

因此,大家也常说,数据治理是一项一把手工程。

数据治理组织架构

企业应在数据治理委员会指导下,设立数据治理办公室,并建立数据责任人制度,以确保数据治理工作能够落实到具体责任人。同时,企业还应结合责权利金三角法则,提升每一个组织的责任感和获得感。

所谓“善组织,齐协作。责权利,当清晰”。

数据治理都是需要人员去做的,我们将他定义为数据责任人,也有的企业称之为数据owner,或是数据主人。这里,笔者认为数据主人更为恰当一些,因为他们在组织里具备数据治理相关的责权利,而不仅仅是责任。

以责权利驱动数据主人分类分级管理,横向建立业务负责制的数据管理模式,纵向促进数据管理职责落实到一线人员,促进培育“人人有其责,人人尽其责”的公司数据文化。

高效的管理者总是勇于承担事情的后果,不会轻易将问题转嫁给他人。美国前总统杜鲁门曾在自己的办公室门上挂了一个引人注目的标牌,上面写着:“Buckets stop here!”,这句话意味着问题到此为止,不再继续传递。

在数据治理的领域,这一原则同样适用。每一位数据主人应将这句话视为自己的行动准则,确保所有属于自己的数据问题都能得到妥善解决。

笔者曾经所服务的企业有几十个业务研发中心,每个业务研发中心都有总经理、总监、经理、数据工程师等,其实他们都是不同层级和类型的数据责任人。管理层面,总经理、总监要为其所有业务单元的数据工作承担第一责任。技术层面,每张数据表、每个数据任务都有对应的责任人,这为数据治理工作的实施推进带来了很大便捷。

数据治理团队包含产品团队和研发团队两个条线,但产品团队只有产品经理,研发团队更多是实现治理工具支撑,他们只能负责数据治理的单一工作,并不能主导数据治理运营,这是远远不够的。

于是,笔者赋予产品经理更多的责权利,还让他们兼着治理子项的项目经理和运营经理,也就是要为数据治理项的成功负责到底,要为最终治理目标负责。

起初,产品经理们相当不适应,甚至有些产品经理直接提出他的能力只懂做产品,没有其他方面的工作经验,也不想尝试做。笔者进行了耐心的沟通,在项目开展过程中言传身教,给予足够的指导和支持,产品经理们发现自己原来还可以这么优秀,挑战了自己原来认为不可能做到的事情,最终产品经理们都很好的胜任了这项工作。现在回想起来,大家仍是非常有成就感。

由于企业数据规模大、数据主人众多,我们也发现,有些历史较远的数据表和数据任务的数据主人已经离职或转岗了,甚至他的领导也离职或转岗了,工作协调起来特别麻烦。后来,我们在员工工作交接中纳入了数据资源项,并且打通数据资产管理系统和人资系统,数据主人做到同步变更,很好的实现了数据主人的统一管理和变更维护。

当前,关于数据要素收益分配,多项政策均呈积极利好导向。政府文件指出,贯彻数据产权结构性分置制度,倡导市场主体搁置所有权争议,甚至搁置持有权、加工权争议,共同使用数据,通过市场协调共享收益。完善数据要素收益分配,健全数据要素由市场评价贡献、按贡献决定报酬的收益分配机制。

企业可以根据数据血缘建立数据主人、数据及场景价值的联系,将数据要素产生的数据价值或收益,按照公平合理的收益分配规则,分配给所有相关的数据主人。

数据主人在承担责任的同时,也能在数据共享与应用过程中获得相应的收益,这更加契合责权利金三角法则的精髓,也更加符合国家政府的政策导向,并且更加贴近人性的需求。

近年来,一些大型央国企也在构建数据责任体系,还提出了数据主人制的理念。他们通过试点和示范项目的方式,积极推进数据主人制的研究与实践,探索数据主人制在业务和基层单位落地应用。在这一过程中,数据主人被细分为为不同的级别和类型,其中级别分为省级、市级和区县级,而类型则分为数据管理主人、数据业务主人和数据生产主人等。通过实施“横向协同、纵向贯通”的组织管理模式,形成了一个协同联动的数据主人管理网络,有效实现了“人找数”和“数找人”,从而解决了很多基层的数据质量问题。同时,企业对于表现优秀的数据主人进行激励,比如奖金、积分和评优评先等。这一做法总体取得了显著的治理成效,很值得学习。

这里要强调一点,很多企业采购了数据治理厂商的产品工具和人力服务,还应将厂商的数据治理人员纳入进来通盘考虑,及时与厂商同步企业的数据治理战略和方案。各厂商不能只想着卖工具、卖人力,而应在甲方的统筹规划和指导下积极配合各项数据治理活动的实施。

谈及此,笔者回想起一位厂商老板曾向我咨询,关于组建数据治理团队时,应寻觅什么样的人才来带领团队。

我给出的建议是,理想的人选应兼具乙方与甲方数据治理工作的背景。

具备乙方背景的专家,深知如何策划方案并进行高效的宣讲。然而,比较遗憾的是,很多乙方的数据治理从业者常常过多专注于治理工具的操作和PPT演示,更多地想着通过售前工作为公司多拿一个订单,而对数据治理的实践经验相对不足。

具备甲方数据治理实战经验的人员,能够更多地从甲方立场出发,对数据治理工作进行整体规划和实施。他们更容易与甲方产生共情,从甲方的实际需求出发来思考问题,而非仅仅着眼于挖掘项目商机和促成签单。

然而,这类高端的数据治理人才较少,这也导致了有些企业数据治理岗位上的负责人和专家长期空缺,难以招募到合适的人选。一些企业退而求其次,招聘的年轻治理工程师,他们虽然充满潜力,但经验和能力尚显不足,所能发挥的作用非常有限。

数据治理是一项高度综合性的工作,它要求数据治理人才具备多元化的经验和能力组合。这类专业人才不仅需要熟悉大数据技术,对数据业务有基本的认识,还必须擅长团队管理,展现出强大的执行力。此外,他们还应具备良好的社交技巧和对人际关系的洞察,以便更有效地应对复杂且不断变化的工作挑战。

不管对于甲方还是乙方,真正有成功经验的数据治理领头羊非常重要。

数据治理运营模式

前面多次强调了数据治理运营的重要性,许多人对此感到好奇,想要了解数据治理运营究竟是什么,以及它具体涉及哪些工作。

我们先一起来看运营模式,运营模式是数据治理实践的起点。

运营模式分为分散式、集中式和联邦式三种常见模式,每种模式的特征、优势和挑战有很大差异。其实,这也可以看作是治理运营的三个成长阶段,企业可能处于其中的某一阶段或介于阶段之间。

  • 分散式运营模式

它是“无人搭台、自主唱戏”,将数据治理权力分散到各个部门及各位员工手中,使其能够自主管理。

  • 集中式运营模式

它是“统一搭台、集中唱戏”,所有数据治理工作都由数据管理组织掌控,统一决策和负责实施推进。

  • 联邦式运营模式

它是“统一搭台,协同唱戏”,数据管理组织和业务部门协同完成数据治理工作的目标,采用“统一管理、分散执行、协同推进”的策略。

笔者有幸经历过这三种模式,起初也是分散式运营,这种模式相对灵活,能够激发员工的自动性和积极性。比如,有的治理项专业性很强,我们发现商品数据表的数量达到数十亿条,且存在大量的无效和过期商品信息,影响正常业务运行。后来经过商品中心团队分析和治理后,对无效的商品信息进行了清除,同时还释放了大量的存储和算力,取得了不错的效果。

但是当数据规模增大的时候,仅用分散式运营的弊端逐渐显露。比如,集群的小文件暴增严重影响大数据平台稳定性时,依靠各团队自行治理显然不太现实,因为他们都在忙着做数据业务,几乎不关注这些,所以就必须采取集中式运营模式,由数据治理团队制定治理目标和计划,并将治理任务分派到相应的团队开展治理实施。同时,为了提升小文件治理的效率,数据治理团队还开发了小文件合并工具,统一为各团队提供高效支撑。

在联邦式管理模式中,数据治理组织与多个业务单元协同,以维护一致的定义和标准。在数据治理组织的统一指导和监督下,各业务单元拥有一定的自治权,可以在其领域内做出决策。比如,各业务单元负责的数据业务不同,某些数据字段比较个性化,业务单元可自行制定字段标准,经数据治理团队审核后即可使用,同时也可以将这些字段标准共享给全公司的业务单元使用。

企业不必过度追求或套用某种模式。

如果有人问笔者所在企业是什么运营模式,其实这三种运营模式前后都经历过,但最后又都同时存在,实际上采取的是一种混合模式。

不同的治理项采取的运营模式可能不同,合适的运营模式才是最好的。

数据治理运营机制

遵循PDCA循环的科学理念,制定数据治理运营实施机制,确保该机制具备“有计划、能实施、可评估、促改进”的特点,从而实现企业数据治理可持续长效运营。

所谓“察现状,诊问题。能识别,准定位。能优化,可评估。能审计,可回溯”。

笔者在负责数据治理项目时,都会始终强调立项准备的重要性,这一环节涵盖了项目背景调研、明确项目目标与价值、界定项目功能、设定项目里程碑、构建项目组织架构、评估项目风险以及制定详尽的运营方案与计划等多个方面。

项目目标与价值的明确阐述是立项过程中的核心环节,特别是投入产出比的精准分析,立项责任人需对此进行清晰而有力的说明,以获得项目组成员及上级领导的一致认可,方能顺利推进至立项阶段。此环节把关极为严格,因为我们要为项目价值和公司成本负责。如果有人想蒙混过关,单纯为了立项而立项,这很容易被发现。

此外,治理运营方案与计划的制定必须条理清晰、切实可行。负责治理运营的同事在项目成败中扮演着极其重要的角色,他们不仅是实现项目目标与价值的关键执行者,更是确保项目平稳运行的最终兜底人。因此,他们肩负的压力与责任相当重大。

在项目推进的过程中,我们秉持着发现问题、解决问题并持续总结经验的原则,不断优化项目执行流程,确保后续的项目开展能够更加顺畅无阻。通过这一系列的努力,不断提升项目的执行效率与质量,为项目的圆满成功奠定坚实的基础。

数据治理分类分级

企业若试图立即解决所有的数据问题,显然是不切实际的,而且难以得到领导层支持,因为动作和成本也实在太大了。

鉴于不同的数据治理专项所采用的治理手段及其预期的回报存在较大差异,为了高效利用有限的资源,企业应秉持“集中精力干大事”的原则,优先考虑那些具有高投资回报率(ROI)且至关重要的治理项目。

因此,明确数据治理项目的优先级,集中资源攻克最为紧迫和关键的问题,是企业的明智之选。

数据治理项的优先级并非固定不变,而是依据企业当前的数据管理实际需求灵活调整。

举例来说,笔者曾任职的企业初期侧重于数据标准、元数据管理以及数据质量管理等方面的工作。然而,在某一年年底时,集团出于降本增效的考虑,决定暂停所有服务器的采购计划。但是,数据业务仍在持续增长,导致服务器资源成为最大的瓶颈。

在此背景下,笔者临危受命,将企业的服务器资源(成本)治理工作提升到了最高优先级,列为P1重大治理项。小文件数量的突增,在未来半年内会导致集群出现故障,故列为P2严重治理项。数据标准、元数据管理、数据质量管理等已经有了一定的基础,并不是特别紧急,列为P3一般治理项。

这时有人可能会想,服务器资源这么重要吗?实际上,对于真正拥有大数据的企业来说,支撑这些大数据的服务器集群规模是相当壮观的,其采购成本更是庞大,通常达到亿元级别。

一般来说,数据规范治理、数据生命周期管理、存储资源优化以及计算资源治理等项目,能够产生显著的投资回报率(ROI),因此被强烈推荐作为企业数据治理工作的首要切入点。对于数据量不大的企业,集群资源不会太多,其优化治理也是可以缓缓的。

从这些高价值的治理专项工作开始着手,企业能够更加高效地推动数据治理的进程,为后续更广泛的数据管理工作构建一个坚实可靠的基础。

关于服务器资源(成本)治理的实践案例,可以参考笔者之前撰写的这篇文章,详细介绍了在面临资源瓶颈时如何调整策略,有效提升服务器资源利用效率并控制成本的经历。

《苏宁数据治理“三字经”,太实用了!》

数据治理实施路径

企业为了更好更快的实现数据治理整体目标,不仅需要具备宏大的战略视野,还需将其细化为一系列具体、可操作的阶段性目标。每个阶段都应设定清晰的里程碑,并规划出详尽的实施路径,以确保每一步都朝着既定方向稳步前进。

关于数据治理的实施路径,企业可以根据数据治理的分类分级体系来制定规划,也可以参考数据管理能力成熟度评估模型(DCMM)来设计策略,甚至可以将这两者有机结合,进行全面考量。

无论采取何种规划方式,所有的治理项都应当满足以下几个核心要求:

  • 有明确的治理目标和价值
  • 有清晰的治理规则和流程
  • 有完善的治理方案和措施

通过这样的分解与规划,企业能够逐步摆脱过去那种“头痛医头,脚痛医脚”的局部应对式治理模式,转而采取一种更为系统、科学的“步步为营”策略。

确立了数据治理的实施路径后,企业内各相关部门将能够大致了解后续工作的配合细节以及人员投入的时间,从而更有效地进行资源协调和准备工作,力求使数据治理活动与数据业务工作之间不产生冲突。

这种转变不仅有助于提升数据治理的成效,还能促进企业在数据管理领域实现可持续迭代与发展。

数据治理实施方法

每家企业的数据治理实施方法各不相同,归纳起来有两种常见的方法:运动型治理和项目制治理。这两种治理实施方法的过程和结果差别很大,相信大部分治理工作者都经历过运动型治理。

  • 运动型治理

企业遭遇突如其来的数据问题时,领导层会迅速集结数据治理团队与业务单元召开紧急会议,一个个头上冒汗、心跳加快,力求迅速定位并解决问题,从而恢复数据的正常运作。通过大家的共同努力、日夜奋战,数据问题总算解决了,终于可以松一口气了。然而,好景不长,相似的问题似乎总是不断地重现,迫使团队再次投入到紧张的应对之中……

这一幕幕的场景,是不是很熟悉?

这种治理模式,我们不妨称之为“运动型治理”,它的一大特征便是事前管理松懈、事后紧急补救。尽管在短期内,这种治理模式或许能够迅速显现成效,但其本质上却是一种缺乏系统性规划,或是虽有规则却难以持之以恒的非常态管理手段。

它往往忽视了长效机制的建立与维护,导致问题难以得到根本性的解决,只能陷入一次又一次的应急循环之中。

  • 项目制治理

经历了治理工作中频繁的痛苦与挑战后,有的企业就会开始探寻更为高效与持久的解决方案,这便是项目制治理,数据治理被赋予了持续性与常态化的使命。

为了提升治理效率并有效管控风险,强烈建议数据管理办公室(DGO)与项目管理办公室(PMO)紧密协作,一个懂数据治理,一个懂项目管理,搭配起来天衣无缝,共同推动项目的稳步前行。这种合作模式不仅能够确保项目资源的优化配置,还能促进数据治理工作的有序开展。

在治理项目的统筹与分解过程中,我们倡导专项专办的原则,同时注重团队凝聚力的培养。企业可以适时地喊出治理口号,这不仅能够激发团队成员的斗志,还能时刻提醒企业人员牢记数据治理,便于树立全公司的数据治理文化。

例如,笔者曾规划了一系列数据治理项目,包括“巡湖”工程、“千迁”工程以及“数安”工程等,并总结出了“大数据中心引领,各研发中心协同,PMO配合推进”的治理策略。依据这些口号和总结,公司的数据治理相关人员能够迅速理解我们所要开展的工作。

“巡湖”工程,是对企业数据湖、数据仓库进行全面的巡检和治理。

“千迁”工程,是对企业数万个Hive任务有选择性的迁移至Spark计算引擎平台。如果数万个Hive任务进行全面迁移,投入的成本和风险都是巨大的,所以优先选择了算力最高的Top1000个任务,“千迁”名称便由此而来。

所谓“视场景,择引擎”,也是来源于这个项目。

项目推进过程中,企业需明确工程目标、界定问题数据的责任归属、合理锁定并分配资源、以及精确记录工时。这里需要特别强调的是,工时不仅是衡量员工工作量的重要指标,更是确保治理工作得到有效执行的关键。

许多企业都通过工时来量化员工的工作成果,无论是员工未填写工时还是填写了工时却未实际参与治理工作,都会带来不必要的麻烦。

因此,企业必须严格管理工时,确保每一分努力都能转化为数据治理工作的实际成果,工时也是督促各个治理协同方的有力措施。

数据治理实施工具

数据治理涉及众多专项领域及独特的治理措施,每个治理专项均要求制定针对性的策略以实现精准管理。在治理实施过程中,应充分发挥线上工具与线下手工治理的各自优势,根据治理项目的实际需求,灵活选取最优的治理方法。

那么,企业在治理实施过程中,该选择线上工具治理,还是线下手工治理呢?看完两种治理方式的比较自然就会有答案。

线上工具治理

通过线上工具的自动化流程、定期巡检等手段,降低人工操作所带来的出错风险,并且能够节省成本和时间。

一般适合线上工具治理的专项具备以下特征:

  • 非紧急治理项

留有时间开发治理工具支撑,减少大量的人工重复操作。

  • 治理成本大

治理投入工作繁琐,操作多个平台和界面,涉及部门及用户广。

  • 开展常态化

需要借助系统自动化能力,及时高效的监控、发现问题、解决问题。

  • 技术平台类

与大数据技术平台强相关的治理项,或已完成开发并正常投入使用的治理专项工具。

另外,采用线上工具治理,也有两大类方式:

  • 数据治理平台统一治理

适合轻量级、相对统一、与其他平台关联较小的治理项,如:数据标准、数据质量、数据生命周期等。

  • 原有数据平台专属治理

适合与其他平台关联紧密的治理项,如:数据任务类相关治理(异常任务、调度优化,还有前面提到的“千迁”工程等),宜放在数据开发平台治理。

线下手工治理

在短时间内完成紧急治理事项,此时线上工具来不及研发,而线下手工治理效率和成果也不差,那么采用线下手工治理是不错的选择。

一般适合线下手工治理的专项具备以下特征:

  • 紧急治理项

先线下推进,快速解决问题,如紧急的存储和稳定性问题。

  • 治理成本小

治理投入工作量较少,操作步骤简便,涉及部门及用户少。

  • 开展短平快

线下拉群、邮件、电话沟通,能短平快完成治理目标的。

  • 规范文档类

规章制度、流程、运营wiki等相关文档的编写和完善。

数据管理能力成熟度评估

企业采取“对标找差、以评促建”的策略,可以利用数据管理能力成熟度评估模型(以下简称DCMM)作为框架,既可依据此框架自主开展全面自评,深入剖析数据管理各方面的实力与短板,也可携手专业的评估咨询机构,进行更为严谨、系统的正式评估与官方认证,从而更精准地定位和提升自身在数据管理领域的成熟度水平。

DCMM是我国在数据管理领域首个正式发布的国家标准(GB/T 36073-2018),旨在帮助企业利用先进的数据管理理念和方法,建立和评价自身数据管理能力,持续完善数据管理组织、程序和制度,从而充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。

DCMM包含8个数据管理能力域、28个能力项、445项条款,这些条款对每一个能力项进行能力等级判定。八大能力域分别是数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准和数据生存周期,这些能力域涵盖了数据管理的各个方面,从战略规划到具体执行,从数据质量保障到数据安全控制,为企业提供了全面的数据管理指导。

数据管理能力成熟度划分为五个等级,自低向高依次为初始级(1级)、受管理级(2级)、稳健级(3级)、量化管理级(4级)和优化级(5级)。

DCMM评估流程大致分为受理申请(填写申请书)、合同受理(签订合同)、资料收集解读、现场评估、撰写评估报告、DCMM专家委员会审核、公示、颁布证书等步骤。DCMM的评估对象既可以是数据拥有方(如拥有大量数据的行业头部企业、集团公司等),也可以是信息技术服务方(如帮客户管理大量数据的信息技术服务类企业)。

企业在开展数据管理能力自评估时,可以依据DCMM框架创建在线表格或搭建信息管理系统对评估过程和内容进行管理,内容涵盖能力域、能力项、编号、度量标准(条款)、符合度、能力子项分、权重、权值、等级得分等,将各能力域的自评估工作分解到企业对应的负责人。各能力域的负责人需基于所分配的条款,主导开展自评估工作。此过程要求他们有效协调并动员该能力域内相关部门的人员,共同参与深入的分析与综合评估。通过这样的协同努力,确保评估的全面性和准确性,从而为企业数据管理能力的提升提供坚实的数据支撑和决策依据。

举例来说,若企业旨在达到DCMM的4级成熟度水平,在数据质量这一关键能力域中,负责人需细致剖析以下四个核心能力项:数据质量需求、数据质量检查、数据质量分析以及数据质量提升。针对每一个能力项,DCMM框架均设定了从1级至5级递进的度量标准(条款),这些标准详细描述了不同成熟度级别下企业应达到的管理水平和实践要求。

对于拟评估4级的企业而言,其关注点应聚焦于3级至5级的条款:

3级条款:代表了企业数据管理能力的稳健阶段,与4级的要求紧密相连,因此不能有遗漏。企业需确保在3级标准上已建立稳固的基础。

4级条款:作为直接对标的目标级别,4级条款要求企业实现数据管理的量化管理。企业需深入评估自身在这些方面的表现,识别差距并制定提升计划。

5级条款:虽然5级代表了数据管理的最高等级,体现了业界最佳实践和行业标杆,但对于追求4级的企业而言,这些条款同样具有重要的参考价值。在某些特定领域达到5级标准的企业,还可能因此获得额外的加分,从而在评估中脱颖而出。

所以,数据质量能力域的负责人在进行自评估时,应紧密围绕3级至5级的条款展开深入分析,确保企业在追求4级成熟度的道路上,既巩固了基础,又瞄准了前沿,最终实现数据管理能力的全面提升。

能力域负责人必须推动具体能力的提升,并确保与度量标准的一致性。例如,“数据质量管理纳入业务人员日常管理工作中,可主动发现并解决相关问题”这项条款,表明业务与数据管理的协同工作是至关重要的,要求业务部门积极参与数据管理,这是提高数据质量的有效策略。

我们再换个方式,从评估机构的视角审视,以“数据质量分析”能力项中的“制定组织层面的数据质量问题评估分析方法,制定统一的数据质量报告模板,明确了数据质量问题分析的要求”条款为例,该条款的关键要求是数据质量问题评估分析方法、数据质量报告模板、数据质量问题分析要求三个方面。

直接证据方面,评估机构将重点考察:

数据质量问题评估分析指南:单独发布的、数据质量问题评估分析指南,作为单独文件明确了公司所采用的通用的数据质量问题分析方法。

数据质量管理制度:公司正式发布的数据质量管理制度,如数据质量管理办法等,针对该条款要求在相关管理办法中明确数据质量问题评估分析的所采用的方法,如根因分析、鱼骨分析等。

数据质量报告及模板:实际的数据质量报告是否遵循统一模板,且模板设计是否支持自动生成报告,以提高效率与准确性。

间接证据则包括:

数据质量问题报告:符合数据质量分析要求的遵循数据质量报告模板的,并在数据质量问题报告中体现了数据质量分析方法的具体数据质量报告(需多期)。

数据质量问题分析会议纪要:开展了的数据质量分析会议的会议纪要。

数据质量问题分析方法培训材料:针对数据质量的培训内容有所覆盖,对当前公司所应用的数据质量分析方法进行介绍的相关性文件。

综合直接证据与间接证据,评估机构将全面评估企业在该度量标准上的实践成效,确保评估结果的客观性与准确性,为企业数据管理能力的持续优化提供有力支撑。

许多企业倾向于携手评估咨询机构共同推进数据管理能力的提升,这一合作模式不仅加速了企业获取贯标等级认证的步伐,确保了过程的顺畅与高效,而且评估咨询机构还能精准识别企业的薄弱环节,并提供专业的数据管理能力提升咨询服务。通过深入的调研分析,评估咨询机构能够与企业并肩作战,共同制定出一套既符合企业实际又高效实用的能力提升方案,从而全方位助力企业强化数据管理。

通过DCMM认证,企业不仅能够获得权威的数据管理能力认可,还能促使企业重新审视并优化其数据管理策略、流程和技术架构,进而提升数据价值挖掘能力,为业务决策提供有力支撑。

目前,已有数千家企业通过了不同等级的数据管理能力认证,其中获得高等级认证的企业中以大型央国企为主。这些企业凭借其深厚的行业积淀和强大的资源支持,在数据管理成熟度方面走在了行业前列。

随着越来越多的企业加入到DCMM认证的行列中,整个行业的数据管理水平也将得到整体提升,共同推动数字经济的高质量发展。

数据资产健康度评估

数据资产健康度评估是数据治理成果的关键反馈,通过多维评估分数,不仅助于发现数据治理薄弱环节,也是衡量数据治理成果的直接途径。数据资产健康度评估作为数据治理的持续抓手,有助于确保数据治理的长期稳定和良性发展。

数据资产健康度评估犹如一份详尽的人体体检报告,其体系全面而深入地覆盖了六大核心维度。通过直观的雷达图,企业将评估结果生动呈现,使得每个维度的健康状况一目了然,而且每个维度均可进一步细化,深度下钻至具体的子项评分,并且不同组织间的评分也能清晰对比。

这样的设计确保了企业能够全面、清晰地把握其整体数据资产的健康状态,为数据管理和优化提供有力支持。

数据资产健康度评估的六大关键维度通常包括:

  • 规范分

依据数据模型、数据指标、数据任务等元素的规范化定义进行综合评分,以反映数据治理的标准化水平。

  • 质量分

基于数据质量规则的覆盖广度与检查结果的精准度进行评分,以反映数据的准确性与可靠性。

  • 安全分

依据数据分级分类的合理性以及数据脱敏措施的有效性进行评分,以确保数据的安全合规性。

  • 价值分

依据报表、指标、模型等业务价值贡献度进行评分,衡量数据对业务决策的支持力度。

  • 计算分

依据数据任务执行过程中计算资源的合理利用情况进行评分,促进计算资源的优化配置。

  • 存储分

依据数据存储资源的占用合理性进行评分,促进存储资源的优化配置。

数据资产健康度评估体系广泛覆盖公司各个层级,从公司整体宏观视角直至具体部门、项目乃至个人微观层面,均计算生成了详尽的数据资产健康分数。

企业通过横向对比与纵向贯通的健康分机制,不仅生动展现了组织内部数据管理的健康状态全景图,还有助于快速甄别数据资产管理的红黑榜,使得数据治理的重点专项和组织能够被精准锁定,进而推动全公司数据治理能力的显著提升与持续优化。

数据治理评估考核

企业制定完整的数据治理成果评估与绩效考核机制,与团队及个人的利益直接挂钩,推动数据治理工作从“被要求治理”向“主动治理”转变。鼓励各团队自发地开展数据治理工作,并在全公司分享成功经验,从而全面提升企业数据治理水平。

企业需要不断优化和完善数据治理体系,确保数据资产能够为企业的业务发展提供有力支持。数据治理办公室(DGO)作为核心监管机构,定期对各团队的治理成果进行公开评估,并设立红黑榜制度,以周、月、年为周期进行晾晒。企业通过透明化的评估机制,可以激励各团队积极投入数据治理工作,提升整体数据管理水平。

为确保治理成果的准确性和有效性,企业数据管理专员(EDS)应承担起对各团队及个人治理成果的跟踪与监督职责。通过严格的监控和评估,确保每一项治理任务都得到有效执行,每一项数据资产都得到妥善管理。这一环节是数据治理成果评估的基石,为后续的绩效考核提供了坚实的数据支撑。

在此基础上,企业能够实时掌握数据资产的健康变化趋势,及时发现并解决潜在的数据管理问题。这不仅有助于提升企业的数据质量,还能为业务决策提供更为准确、可靠的数据支持。

所谓“须考核,纳监督。有奖惩,必晾晒”。

为进一步强化数据治理的成效,数据治理委员会(DGC)将各团队的治理成果纳入月度绩效考核体系,并与薪资挂钩。这一举措旨在通过经济激励手段,激发各团队对数据治理工作的重视程度,推动数据治理水平的持续提升。

对于在红黑榜中表现不佳或绩效连续较差的团队,数据治理办公室(DGO)将采取一系列大数据相关权益限制措施。包括但不限于限制任务优先级、限制集群资源申请等,以督促这些团队尽快实施数据治理工作。

例如,在笔者负责实施的大数据集群资源治理项目中,尽管大多数业务单元给予了积极的配合,参与了集群资源的优化缩容工作,但仍有个别业务单元表现出合作意愿不强的情况。这些业务单元在资源缩容方面参与度不高,却持续提交新增集群资源的申请,这显然是不会被批准的。甚至对于治理消极的业务单元,还会进一步限制其已有的资源使用。

数据治理成果评估与绩效考核体系是企业数据治理工作的重要组成部分。通过这一体系,企业能够全面、准确地评估各团队的治理成果,激发团队的积极性与创造力,推动数据治理水平的不断提升。

数据治理优化改进

企业的数据治理专项都要进行项目复盘,梳理分析治理过程中出现的各类问题,落实优化改进措施,并将新的改进优化运用到下一个管理周期中,避免重复出现相同问题,助于提升数据治理的效能。

数据治理工作的优化改进通常涵盖以下六大核心领域:

  • 治理策略优化

精细调控治理力度,确保数据治理规则既严格又高效。

实施精准定位,选择TopN关键组织作为治理重点,缩小参与范围以提高治理效率。

  • 治理计划精进

优先推进高价值、高ROI的治理专项,确保资源投入产出最大化。

紧密关联业务目标,优化整体治理计划,确保治理行动与业务战略同频共振。

  • 治理规范革新

对现有制度性文件进行审视与修订,确保规范性工作与时俱进。

将经过验证的改善措施标准化、规范化,形成可复制、可推广的治理模板。

  • 团队协作强化

深化团队间的协作机制,优化流程,减少沟通障碍。

组织内部培训与分享会,推广数据治理优秀案例,提升团队整体治理能力。

  • 治理手段创新

推动治理手段从线下向线上转移,实现治理过程的线上化、智能化。

实施源头治理策略,通过预防机制减少同类问题的频发。

  • 治理工具升级

开展用户调研,了解治理工具的实际需求与改进空间。

监控治理工具核心功能的UV/PV,确保治理工具的有效利用与持续优化。

对于长期存在的问题,制定针对性解决方案;对于反复出现的问题,通过制度修订加以约束。提炼并固化好经验,纳入长效治理机制,同时广泛征求建议,解决暂难问题。

针对长期悬而未决的问题,应深入研究并制定相应的解决策略与政策,以期从根本上予以解决。对于频繁复发的问题,则需通过修订和完善相关制度,强化约束力度,防止问题再次发生。

企业在实践中证明行之有效的良好经验和做法,应及时总结并纳入长效管理机制中,以巩固和扩大治理成果。面对暂时难以攻克的问题,我们应保持开放态度,广泛征集各方面的意见和建议,集思广益,寻求最佳解决方案。

此外,还要将本轮数据治理周期中的新改进和新优化成果,积极应用到下一个管理周期中,通过持续迭代和优化,不断提升治理效能,确保相同问题不再重复出现。

数据治理迭代演进

数据治理运营工作不会一蹴而就,通常会经历循序渐进的四个阶段。在数据治理迭代过程中,应该采取“小步快跑、迭代优化、持续提升”的分步演进策略,并且在运营过程中持续优化。

所谓“治理急,线下先。累经验,建工具。体系化,智能化。一站式,闭环式”。

数据治理的迭代演进历程可划分为以下四个阶段:

  • 线下手工初探阶段

此阶段以迅速输出治理成果为核心目标。通过构建基础的数据治理组织框架,确立相应的制度和标准流程,企业优先针对紧急且高ROI(投资回报率)的项目进行治理,以精准解决关键问题。在此过程中,初步培养了全员的数据治理意识,并勾勒出了未来产品工具的发展蓝图。

  • 半工具化过渡阶段

随着数据治理意识的逐渐增强,企业启动了第二轮治理项目。在这一阶段,结合线下手工治理的丰富经验,开始沉淀并提升工具化治理能力。治理工具逐步落地,实现了线上线下治理的协同并进,进一步提升了治理效率。

  • 全工具化深化阶段

当数据治理意识趋于成熟时,企业进入了全工具化治理的新阶段。此时,企业致力于全面优化治理工具的功能和性能,以最大化提升治理效率。通过全面推进线上治理运营,成功扩大了治理的覆盖面和影响力,取得了显著的治理成效。

  • 自驱智能成熟阶段

最终,企业迎来了数据治理的自驱智能阶段。在这一阶段,企业形成了浓厚的数据文化,各部门能够自发地发起和推动治理活动。创新技术被广泛应用于治理工具中,推动了治理向智能化方向的迈进。团队间实现了治理能力的共享和快速复制,确保了治理成果能够在企业内得到广泛传播和应用,从而为企业提供了最优的数据治理保障。

常见问题及应对措施

数据治理的推广确实面临诸多挑战,这是众多企业数据治理工作者频繁抱怨的难题,笔者对此也深有体会。其中,较为典型的问题包括团队协作不畅、数据治理标准难以统一以及治理工具难以有效落地支撑等几个方面。

  • 团队配合协作

数据治理涉及多个职能线和部门,每个职能线和部门都扮演着不同的角色和立场,往往以自身业务工作为优先,因此参与度也有所不同,各业务中心的参与度对于治理效果具有直接影响。

数据治理团队要能起到牵头、协调和培训指导作用,与业务单元建立信任的关系,并真正帮助业务单元解决治理问题。

  • 数据治理标准

起初是摸着石头过河,在短期内完善数据治理规范是一项具有挑战性的任务,治理项与多个业务、系统和数据相关联,这三者之间存在复杂的上下游依赖关系,治理规则难以统一。

数据治理团队需要充分调研业务中心和领域专家意见,结合行业和试点经验,逐步形成全面、系统的标准化方案。按照内容轻重缓急进行分级分期治理,有标准依据的按标准治理,无统一标准的由专家组和业务方共同制定方案。

  • 治理工具落地

由于缺乏统一参考依据,导致业界各主要对标产品在功能、性能和用户体验等方面存在差异较大的现象,一步到位形成标准化产品的难度较大。

数据治理团队需要结合行业案例和治理运营过程中的用户反馈,逐步完善产品功能和性能,并不断优化用户体验。大部分企业采购成熟的数据治理服务商工具也是不错的选择,即使是成熟产品,往往定制化工作也少不了。很多央国企和头部互联网企业的数据治理工具,都是根据自身企业的特定需求量身建设,并在持续的项目迭代中不断打磨和优化,可以说代表了业界的顶尖水平。

据悉,数据易(北京)信息技术有限公司是数据管理和流通领域的专业服务商,是中国电子信息行业联合会成员、中国大数据标准化工作组成员单位,中国电子信息行业联合会数据资产管理专委会秘书处单位。公司以促进数据的价值提升为目标,专注于数据管理人员培训、DCMM能力提升、数据治理咨询、数据可信流通等领域,致力于帮助客户打造管用一体、内外结合的数据价值体系。

数据易已成功为电力、通信、金融、能源等多个行业客户提供DCMM五级、四级和三级项目贯标咨询服务,对数据质量、数据治理、数据管理能力成熟度评估等数据相关的领域有很深的研究和实践。数据易推出的数据主人产品,通过精细化数据认责管理、综合化考评激励机制、一站式数据主人服务、闭环式运营保障能力,有效解决了企业在数据责任体系中遇到的诸多难题,帮助大型央国企有效夯实数据主人制底座能力,形成了业数协同、源头治理的常态运转机制,促进数据主人积极履行职责,并提升了数据治理工作的主动性和高效运营。

值得一提的是,数据易已成功助力众多行业客户实现了数据治理的转型升级,通过其丰富的成功案例和客户见证,证明了其在数据治理领域的深厚实力和卓越价值。如果您也希望在数据治理方面取得突破,不妨访问数据易的官方网站(www.easydcmm.com),以获得更多信息,了解如何借助数据易的力量,提升您的数据治理能力,为企业的数字化转型和可持续发展注入新的活力。

后记

《数据治理“三字经”,赋能实践路更明!》

谨以此篇,

致敬过往岁月;

致敬团队的领导与同事们;

致敬数据治理领域的每一位同仁!

愿能激起思考涟漪,

点亮智慧之光,

为数据治理工作的推广与普及略尽绵薄之力!

作者介绍

韦真,资深数据治理专家,长期致力于数据治理领域的深入研究与实践,曾在世界500强企业担任数据治理负责人,在数据治理领域有着丰富的产品规划、产品建设和运营实践成功经验。著有《数据治理“三字经”》,并发表系列文章。

附:《数据治理“三字经”》全文

最后,笔者献上精心创作的《数据治理“三字经”》,期望与各位同仁共同探讨与交流。“路虽远行则将至,事虽难做则必成”,数据治理领域的同仁们,一起加油!

详见解读版:

《数据治理“三字经”,伴君摘得“满天星”》

另附文字版全文,谢谢各位!

数据治理三字经

韦 真

数之初,量本小。猛增长,遇瓶颈。

缺管理,实难控。若不治,随可崩。

若广治,惧其繁。治之道,贵以专。

高层挺,强执行。定战略,树文化。

建制度,设流程。善组织,齐协作。

责权利,当清晰。凡标准,共遵循。

察现状,诊问题。能识别,准定位。

能优化,可评估。能审计,可回溯。

须考核,纳监督。有奖惩,必晾晒。

采存融,管治用。全链路,环相扣。

元数据,乃基石。设规则,保质量。

厘血缘,识脉络。快追踪,知影响。

数地图,为核心。呈全景,知分布。

显流动,明趋势。摊成本,指方向。

自目录,至明细。易检索,助分析。

保安全,促开放。若合规,应共享。

分等级,分类型。严授权,护隐私。

建服务,少跑数。弃保姆,来自助。

始源头,控增量。理价值,降存量。

设周期,常清理。需压缩,宜存档。

视场景,择引擎。去冗余,平峰谷。

治理急,线下先。累经验,建工具。

体系化,智能化。一站式,闭环式。

工具易,运营难。若有方,皆可成。


责任编辑:华轩 来源: 51CTO
相关推荐

2020-09-04 09:32:54

苏宁数据治理

2023-10-26 09:00:00

数字经济数据治理大数据

2024-01-11 09:53:31

面试C++

2021-10-18 11:58:56

负载均衡虚拟机

2022-09-06 08:02:40

死锁顺序锁轮询锁

2021-01-19 05:49:44

DNS协议

2022-09-14 09:01:55

shell可视化

2020-07-15 08:57:40

HTTPSTCP协议

2020-11-16 10:47:14

FreeRTOS应用嵌入式

2020-07-09 07:54:35

ThreadPoolE线程池

2024-03-07 18:11:39

Golang采集链接

2022-10-10 08:35:17

kafka工作机制消息发送

2022-07-19 16:03:14

KubernetesLinux

2024-05-10 12:59:58

PyTorch人工智能

2023-06-12 08:49:12

RocketMQ消费逻辑

2021-08-26 05:02:50

分布式设计

2022-07-15 16:31:49

Postman测试

2022-09-08 10:14:29

人脸识别算法

2024-01-05 08:30:26

自动驾驶算法

2024-09-04 10:54:09

点赞
收藏

51CTO技术栈公众号