Capital One银行是如何进行大规模数据治理的

大数据 数据分析
数据治理不再被视为一种合规性的工具,而是确保最终用户能够在需要的时间和方式访问正确、高质量的数据的驱动力,这是企业成为数据驱动型组织的关键因素。

如今,对数据和分析的日益重视使企业更加关注他们的数据治理策略。根据调研机构Gartner公司最近进行的一项调查,63%的数据和分析领导者表示他们的公司正在增加对数据治理的投资。

其原因是什么?数据治理不再被视为一种合规性的工具,而是确保最终用户能够在需要的时间和方式访问正确、高质量的数据的驱动力,这是企业成为数据驱动型组织的关键因素。

Capital One银行的软件工程高级总监Naga Gurram表示,“从长远来看,企业的成本会更低,业务发展速度会快得多。”

这一切都取决于为数字时代调整的数据治理战略。毕竟,在缓慢而复杂的数据治理过程阻碍工作的情况下,实时数据也无法提供更多帮助。

Gurram说:“企业如何让其业务用户能够实时、大规模地获取他们需要的数据?如果错过了在正确的时间提供正确产品的机会,就没有做好自己的工作,企业就失去了更好地为客户服务的机会。”

混合数据治理

数据治理是一个系统,用于定义企业中对数据资产具有权限和控制权的人员,以及如何使用这些数据资产。它包括管理和保护数据资产所需的人员、流程和技术。大多数企业已经有某种形式的数据治理,适用于应用程序、业务单位或功能。然而,不断发展的数据治理实践与对企业流程和责任建立系统的、正式的控制有关。

Gurram说:“人们甚至很难意识到它能带来多大的帮助。”他补充说,Capital One银行已经从以前的集中式模式发展到采用数据治理实践,以更好地应对快速变化的数据环境。

Gurram表示:“在传统世界中,我们拥有有限的基础设施、有限的数据和有限的用户。我们过去常常集中管理数据治理。”

通过采用数据治理系统,业务部门将向中央团队提供所有数据治理需求,中央团队将确保所有数据都通过治理策略运行,并且业务部门满足所有这些策略。

Gurram说,“但是数据正在爆炸式增长,我们在过去常常谈论TB规模或数百TB规模的数据,而现在谈论的是数百PB的数据。因为数据无处不在。”

为了应对这种爆炸式增长,Capital One银行建立了一种混合数据治理实践,在其业务线中嵌入了中央的数据治理团队和联合数据治理团队。中央团队专注于构建业务线使用的数据治理平台和自助服务工具,还负责维护该银行数据治理愿景,并倡导一种文化转变,在这种文化转变中,数据不再被视为数据,而是被视为产品。

Gurram说:“我们所有的政策、所有的平台、所有的工具都由一个中央团队管理和构建,但数据治理的执行来自联合团队。我们为业务合作伙伴、业务部门提供合适的工具和平台,他们确保自己获得数据,并使用自助工具根据这些政策发布数据。”

数字时代的“倾斜治理

有了合适的工具和平台,Capital One银行的联合数据治理团队就可以专注于提供针对其业务线特定的用例和量身定制的服务和策略。

但这一战略的量身定制方法并不止于此,Gurram表示,Capital One公司采取了所谓的 “倾斜治理”方法,根据数据的不同,对访问和安全进行了不同程度的治理和控制。

他表示:“应该给予合作伙伴团队一定的灵活性,以便他们能够为业务部门应用所需的政策。我们不应该为每个人制定一套规则,并不是一套规则适用于每一个数据集。”

试图对企业的数据强制执行单一策略是导致数据治理中出现“开销”的原因之一。

数据治理通常被视为成本中心,因此也是一种开销。但Gurram强调,如果计划和实施得当,收益将远远超过成本。

他说:“我建议正在经历这段旅程的人不要把它视为开销,不要把它看作一个项目。要全面地看待它,并关注结果。”

数据治理的好处包括提高对数据法规的合规性,但还包括:

  • 来自企业一致而统一的数据将获得更好、更全面的决策支持。
  • 明确的流程和数据变更规则,帮助业务和IT变得更加敏捷和可扩展。
  • 通过提供中央控制机制,降低了其他数据管理领域的成本。
  • 通过重复使用流程和数据来提高效率。

Gurram表示,如果企业实施数据治理框架,最好的起点是采用专注于试图实现的目标的整体方法。不要试图使其政策与所拥有的数据相匹配,这将导致政策支离破碎。

他说:“不要引入大量数据,然后试图弄清楚并编写一些规则。应该建立一个愿景,并根据这些政策发布数据。”

Gurram建议企业高管需要考虑这样一些问题:“我们是否拥有合适的数据平台,以便实现最佳的数据治理?我们是否有合适的工具让用户更容易使用?我们是否有合适的人才,让我们能够无缝地构建这个平台?每个人都明白自己的角色和责任吗?”

Gurram说:“如果企业高管思考了这些问题,然后提出策略,实施起来就很容易。我们需要努力实现最终目标。如果不关注结果,就很难实现。”

责任编辑:姜华 来源: 企业网D1Net
相关推荐

2023-05-26 15:46:23

数据结构布隆过滤器开发

2019-05-17 17:17:37

大数据实践指南

2019-06-10 16:17:37

2022-12-30 14:14:51

数据中心服务器

2024-04-02 14:29:12

网络安全数据泄露

2020-12-11 19:52:06

数据中心超大规模数据中心

2023-02-14 11:24:36

2022-06-24 09:00:00

数据管理数据卷数据存储

2023-10-26 01:26:04

Vaex数据数据集

2023-10-05 12:43:48

数据处理

2020-06-10 10:00:53

Serverless数据处理函数

2021-08-25 08:23:51

AI数据机器学习

2020-07-23 14:03:09

数据中心数据网络

2024-08-21 15:14:21

2016-05-30 12:08:14

2017-01-11 15:54:53

SDN网络数据中心中国移动

2021-03-24 11:13:12

数据中心云计算物联网

2024-09-13 13:36:29

2023-10-07 08:30:07

B+树数据库管理系统

2013-04-27 09:09:07

大数据全球技术峰会
点赞
收藏

51CTO技术栈公众号