聊聊数据源集市建设的初步思路和规划

数据库 MySQL
最近在对接数据流转的一些问题,发现越是了解,越是担心,因为有不少潜在的问题,所以我就在想规划和统一所谓的数据源集市,能够实现数据流转方向的一个基线标准。

[[377598]]

最近在对接数据流转的一些问题,发现越是了解,越是担心,因为有不少潜在的问题,所以我就在想规划和统一所谓的数据源集市,能够实现数据流转方向的一个基线标准。

目前发现的问题:

1.数据出口通道繁杂,管理混乱

2.MySQL流转服务单点难以扩展

3.任务状态不清晰,缺乏统一管理

4.数据交付质量难以保证,反馈不及时

5.近实时数据同步需求难以满足

对此提出的改进方案有:

1.数据出口通道统一交付

2.构建数据源集市服务组,水平扩展压力

3.任务配置平台化,任务日志指标可视化

4.数据交付提供交付标准和数据质量日志

5.提供近实时方案作为备选,预知问题

整个数据源集市在数据流转体系中的角色和位置如下:

当日这里是刻意把数据源集市的一些组件和服务列举出来,能够尽可能在这个层面实现数据质量的标准和度量,简而言之,数据如果不合理,我应该及时预警,不能将错就错的提供给中下游,数据源集市需要做好这一层的保障。

在数据流转方向上,我把数据表分为状态表,流水表和配置表,他们在流转体系中的定位和标准也大有不同。

当然这仅仅是数据流转体系内的冰山一角,而如果要把数据的认知和数据源要整合起来,形成统一的认知,这个工作量是极为巨大的。

我感觉对于数据的认知,一旦抛出这个话题,就好像打开了一扇窗,经过了更大范围的讨论,我感觉我本来想要的是一口井,没想到现在需要引一条河流,而且还要再河流上再搭一座桥,真让人头大。

本文转载自微信公众号「 杨建荣的学习笔记」,可以通过以下二维码关注。转载本文请联系 杨建荣的学习笔记公众号。

 

责任编辑:武晓燕 来源: 杨建荣的学习笔记
相关推荐

2024-10-30 10:22:17

2021-01-31 23:58:04

MySQL状态表数据源

2017-09-04 14:52:51

Tomcat线程数据源

2010-12-27 09:59:11

ODBC数据源

2009-06-15 13:24:46

JBoss数据源

2017-06-14 23:42:27

大数据数据源架构

2023-11-27 09:16:53

Python数据源类型

2009-07-21 17:41:58

JDBC数据源

2023-01-04 09:33:31

SpringBootMybatis

2023-07-02 14:11:28

数据仓库大数据

2013-06-07 10:05:18

2017-10-25 14:15:55

大数据Hadoop维度建模

2013-06-09 10:15:09

2021-10-18 06:54:47

数据源数据预处理

2017-10-12 10:57:15

数据安全数据集市数据湖

2010-11-23 14:26:47

2009-09-08 11:09:39

LINQ数据源

2009-09-15 17:15:33

Linq排序

2009-07-28 14:22:05

数据源控件ASP.NET

2020-12-31 07:55:33

spring bootMybatis数据库
点赞
收藏

51CTO技术栈公众号