数据网格有望升级整个IT系统

译文
大数据
数据网格有望彻底改变我们处理和查看数据的方式。这将影响数据是关键要素的所有领域。

译者 | 布加迪

策划 | 云昭

数据网格正迅速成为数据领域的一种重要架构模式。我们IT人士有这样一种习惯:创造流行语,然后紧跟潮流。然而,数据网格并不是仅仅是流行词,原因是它有望彻底改变我们处理和查看数据的方式。这将对数据是关键要素的所有领域都会有影响。

当前数据级别的报告单

在我们将数据提升到下一个级别之前,简要介绍一下当前数据级别的进度或报告单。下图显示了数据在如今的 IT系统中通常是如何处理的。

图1. 来自诸系统的数据流入DWH或数据湖

如上所示,来自诸多事务/运营和外部系统的数据将通过ETL作业网络流入数据仓库。在最终消费者可以聚集/汇总和使用这些数据之前,将完成许多活动,比如清理和转换等。

几十年来,这种方法一直屡试不爽。但在当今数据无处不在的世界,这种方法却遇到了瓶颈。现代数据湖方面也是如此。事实上,在大多数情况下,数据湖的情况更糟。

大数据/物联网和数据流出现后,大多数组织不知道如何处理数据。虽然它们知道数据是新的石油,但不知道如何提炼和使用这种油。它们甚至对想要使用这些数据来处理的分析用例没有太多想法。也许数据湖这个流行语使它们随波逐流。由于别人都在搞数据湖,所以越来越多的人开始仿而效之。

前面说过,数据湖方面的情况更糟。主要原因是,就数据仓库而言,大多数组织仍采用某种治理和策略。但是就数据湖而言,在大多数情况下,所有类型的数据(结构化/日志/流数据等)都只是被转储到某种廉价存储系统中,其想法是将来会有相应的用例,能够得益于正在开挖的这个新油田。但愿望并不总是成真。

报告单中一些有待改进的方面

•随着数据集中起来,加上数据无处不在,数据的数量和速度变得如此庞大,因此集中式系统无力处理。

•数据工程师/数据仓库团队对运营数据、领域和复杂性了解不多。

•如何在这种系统中处理变更方面没有太多的灵活性可言。

应用程序层如何提升到下一个级别?

在过去几年,领域驱动设计和微服务确实改变了应用程序层的处理方式。一个庞大的单体应用系统被转换成特定领域的功能或微服务。这让领域团队得以专注于各自针对特定领域的功能。他们对各自领域了如指掌,更不用说我们在这类环境中看到的敏捷性了(当然,还有出色的工具和流程,比如CI/CD、DevOps和容器等)。

图2

使用领域驱动设计将单体应用程序转换成微服务

如果只看上面两张图,会发现我们在应用程序层和数据层采取了完全相反的方法。在应用程序层,我们只是将单体应用程序分解成多个较小的单元,而在数据库层,我们将来自各个领域的数据放入到一个庞大的单体单元中。

这时候数据网格有了用武之地。不妨快速了解一下这个数据网格到底是什么。

数据网格架构将定义、创建、管理和共享数据产品的自主权赋予业务领域。所以基本上,每个业务领域都将拥有自己的数据。它们可以使用API等手段与消费者共享,但它们管理数据的整个生命周期。

1)由于没有一个庞大的集中式单体应用程序,单个数据产品可以更好地扩展(分布式扩展)。

2)每个领域团队拥有并管理其数据和产品(联合数据治理)。

3)每个产品团队比任何集中式团队更了解其数据和领域。

4)更好的敏捷性。

一点建议

如开篇所述,不要轻信流行语。数据网格到底是流行语还是非常适合?只有评估后才能做出决定。我发现许多人做错了SOA,做错了P2P,甚至做错了REST和微服务,当然还做错了数据湖。明智的决定的前提,是要看看它是否适合自己。


原文标题:Data Mesh — Graduating Your Data to Next Level,作者:Rohit Dhall

链接:https://dzone.com/articles/datamesh-graduating-your-data-to-next-level


责任编辑:云昭 来源: 51CTO
相关推荐

2011-10-19 16:55:27

Android 2.3Android 4.0冰激凌三明治

2012-02-06 09:48:55

红帽功能

2012-02-15 09:54:56

黑莓Playbook

2011-05-02 12:07:40

Chrome OS平板电脑谷歌

2022-08-11 11:29:37

数据中心综合布线物联网

2010-05-13 23:38:28

统一通信系统

2022-04-02 23:32:42

数据网格架构

2009-07-01 09:13:44

Firefox 3.5浏览器新特性

2013-01-24 10:53:40

2016-09-20 10:26:24

人工智能大数据

2014-01-02 11:23:13

Midori操作系统

2009-02-27 11:02:01

VMware数据中心hypervisor

2017-01-16 09:57:56

5G网络移动

2013-09-09 10:10:09

云存储大数据

2013-09-04 09:07:47

云存储大数据

2020-02-28 15:43:31

iOS系统苹果升级

2013-05-31 13:50:26

Windows Ser

2015-07-22 13:12:33

2017-03-27 09:42:58

JavaScript数据网格库

2023-02-03 17:55:20

数据治理数据湖
点赞
收藏

51CTO技术栈公众号