关于DAMA参考数据和主数据管理的解读和一些看法

大数据 数据分析 数据管理
参考数据管理是对定义的数据值域进行控制,包括对标准化术语、代码值和其他唯一标识符以及每个取值的业务定义的控制,和对数据域值列表内部和跨不同列表之间的业务关系的控制;并且对准确、及时和相关参考数据值的一致,共享使用进行控制,以进行数据分类和目录整编。

[[342434]]

参考数据管理是对定义的数据值域进行控制,包括对标准化术语、代码值和其他唯一标识符以及每个取值的业务定义的控制,和对数据域值列表内部和跨不同列表之间的业务关系的控制;并且对准确、及时和相关参考数据值的一致,共享使用进行控制,以进行数据分类和目录整编。

如参考数据-“ 订单状态 ”:新建立、处理中、完结、取消等。

主数据管理是对主数据值进行控制,以实现跨系统的一致、共享、上下文相关地使用主数据,以及对核心业务实体的真实情况的最准确、及时和相关的版本进行控制。

主数据一般包括下列实体的数据:

人,包括个人、组织及其角色,比如客户、公民、病人、厂商、供应商、业务伙伴、竞争对手、员工和学生等。

产品,包括内部和外部的产品。

财务结构,例如总账、成本中心、利润中心等。

位置,例如地址信息

首先必须说明,单一的业务系统应该没有主数据的概念,参考数据为了确保不同的业务采用同样的控制模式,可以存在。

随着业务系统的不断增加,核心业务实体不断被抽象出来,在不同业务系统之间实现业务实体的共享和流转,就产生了主数据管理。

按照DAMA-DMBOK,理想的参考数据和主数据架构应该是这样的。

 

参考数据和主数据只有一份正本,各业务系统只在这一份正本数据上进行相关业务操作,所有参考数据和主数据都是一致的。

但实际上主数据管理不是一蹴而就的,而且主数据的传播跟业务也很大的相关性,实时性要求高的采用SOA总线接口方式,稍微差一些的采用消息队列方式,批量数据的传播则采用sftp/ftp方式,为了确保数据的一致性和版本管理,中间还构建了主数据管理平台,逐渐的主数据管理就演变成了以下的架构方式。

 

这种架构方式看起来也很合理,但笔者在最近做主数据监控和管理过程中,发现了诸多问题,这些问题与主数据有关、与数据质量有关、和业务系统有关 、和业务部门有关、和数据治理组织也有关。

在前文中有一个统计数据,据统计数据质量问题76%来自数据录入错误,53%来自源系统的变化,48%来自数据迁移或项目改建,46%来自用户不同的期望,26%来自系统错误。

在主数据问题分析中,也可以大致分为存量数据问题、业务流程问题、技术问题、网络问题。

网络问题是造成主数据流转出现问题的直接原因,网络抖动和网络问题时有发生,但不是主要问题,也可以通过重发机制,将数据弥补过来。

数量最多的是存量数据问题,这类问题大多数历史遗留原因导致的,系统上线之初,未按照主数据的要求进行数据迁移,A、B、C要确保一致性,只有A表正常迁移了;但需要同步A、B、C表,下游缺乏B、C表内容,所以A表也无法同步下去,据统计存量数据问题约占了80%的数据量。

其次是技术问题,主数据从A系统分发到B系统,但B系统只负责接收,但实际上并未正确入库,或者未正确返回状态,这样也会导致主数据不一致,上游的表结构修改也会导致此类问题发生。

最后是业务流程问题,A系统和B系统按照相关的业务规范实现数据流转,但随着业务的变化,A系统进行了相关修订,但B系统认为此修订与之无关,既然无关,部分数据可用可不用,所以干脆直接放弃好了。

后面的三类问题通过组织各个干系人,包括技术支撑部门、各业务部门、各业务厂家,终归可以得到解决方案,但在实际解决过程中,常常面临着职责不分,沟通协调机制、费用分摊等难题,导致看起来容易解决的问题,实际解决起来遥遥无期。

 

这就涉及到数据治理组织的问题了。

本文转载自微信公众号「追梦IT人」,可以通过以下二维码关注。转载本文请联系追梦IT人公众号。

 

责任编辑:武晓燕 来源: 追梦IT人
相关推荐

2023-01-04 09:54:02

2012-11-09 10:46:24

Canonical

2020-04-18 11:15:38

云计算数据安全

2012-12-07 11:32:33

Exchange 20

2014-01-03 13:50:06

2023-04-11 15:28:26

数据管理数据环境

2018-07-30 08:41:48

VueReact区别

2013-05-17 11:43:55

主数据数据管理

2011-07-13 10:12:56

SQL语句优化操作符优化

2011-03-28 19:50:48

ibmdwDB2MDM

2018-07-27 18:20:31

数据库MySQL 数据库建表

2021-06-24 10:44:40

云计算数据管理优化市场

2012-03-04 20:25:38

APP

2023-04-12 00:00:40

Node.jsMonoreponpm

2018-07-11 14:06:04

数据质量数据治理数据清洗

2023-08-01 14:35:00

关系数据库排列

2024-11-07 09:56:47

2013-08-21 13:47:29

PhoneUDIDUUID

2013-07-18 16:16:51

2024-02-26 09:15:05

点赞
收藏

51CTO技术栈公众号