组织中存在哪些数据?存储在哪里?最佳数据是什么?如何访问?可以相信它吗?
一种数据目录负责有效地查找和理解数据部分。提供和监控数据访问,确保数据质量和数据保护——所有这些都在数据治理之下。现在,数据目录正在结合数据治理工具集,将数据编目和数据治理合并到一个工具集中是非常合适的。那是因为其功能是如此交织在一起。
什么是数据治理
有人说是一套程序和政策,有人说是数据管理。隐私和编目领域的各种供应商都试图将他们的软件作为数据治理软件进行销售。
根据 Lights on Data的说法, “数据治理使组织能够对数据资产的管理施加控制,包括确保数据适合其预期目的所需的人员、流程和技术。
简而言之,数据治理是提供和监控数据访问、确保数据质量和数据保护的过程。
当我们谈论数据治理时,谈话中经常会出现以下术语。为了更好地理解,简要定义。
- 数据发现——从组织现有的数据资产中找到相关数据并快速理解的行为。
- 数据沿袭——是数据起源方式和地点及其处理逻辑和目的地的图形表示。
- Business Glossary – 是一个存储库,使数据管理员能够在整个公司内构建和管理通用业务词汇。一个业务词汇表可以包含许多数据字典。
- 数据字典——是一个定义数据元素、它们的含义和它们的允许值的存储库。虽然数据词汇表是企业范围的,并且应该创建以提高对数据的业务理解,但数据词典本质上更具技术性,并且往往是特定于系统的。
- PII – 个人身份信息
- 数据隐私合规– 是公司遵守个人信息保护准则或法规。
- 主数据管理
- 数据质量——数据质量是对数据在给定环境中服务其目的的适应性的感知或评估。数据的质量取决于准确性、完整性、相关性和最新程度等因素。(来源:WhatIs.com)
- 数据管家——数据管家是一个角色,有助于为业务用户提供高质量的数据,这些数据可以以一致的方式轻松访问。
每个组织都在从数据治理中寻找解决其数据相关问题的方法。意味着,如果与来自不同公司的董事或CDO交谈,他们对数据治理的理解会有所不同,因为他们面临的挑战不同。
为什么数据治理突然变得如此重要?
很多人都会在某个时候想到这个问题。尽管电子形式的数据自计算机以来就已经存在,但数据治理已成为近几年的热门话题。
这是因为正在从繁琐的集中式应用程序转向基于 SAAS 的、易于使用的应用程序。
SAAS、数字营销和销售应用程序的出现创造了新一波孤立的应用程序。当您只有一个应用程序来完成整个业务功能(即 SAP)时,不会遇到任何治理问题,因为 SAP 提供了解决方案。然而,当有多个应用程序时,就会出现各种数据挑战。
在以下部分中,将看到 BI/分析与合规性如何使自动化和结构化数据治理的需求变得复杂。
数据治理驱动因素
对于有效的数据治理,了解哪些因素将数据治理推向紧迫点至关重要。
主数据管理
当有多个应用程序执行不同的业务功能时,总是需要通用数据,例如客户、员工、会计科目表和材料。为了克服企业中的挑战,IT 部门通常会确保一个应用程序是特定数据元素的主控,而其他应用程序仅用于处理潜在客户。必须集成这些应用程序并进行单点登录。
一个典型的组织有大约 100 多个执行不同业务功能的应用程序。在这些应用程序的实施过程中,领导层对主数据记录做出决策,然后将一个应用程序与其他应用程序集成。
购买和实施新应用程序通常是一项联合(IT/业务)功能。项目团队确保主数据仅保存在一个应用程序中。但是,还有其他各种驱动因素,例如并购和快速增长,为主数据创建了多个源系统。
为了合并主记录,需要创建一个 IT 项目,并使用特定工具来管理它们。这些类型的项目很昂贵。作为项目的一部分,进行了整个治理活动。在大多数情况下,所有利益相关者和咨询公司都参与解决这一挑战。
集成
由于多个应用程序执行许多业务功能,因此集成它们非常重要。例如,CRM系统可能需要与财务系统相结合才能完成采购和开票流程。
由于数据在集成过程中流动,因此需要进行管理。这些集成大多是自定义编写的,需要 IT 人员的支持。这个问题也可以称为关于业务规则的数据治理问题。通常,会组建一个支持团队。它的工作是管理这些集成。
商业智能与分析
可以分两部分提供商业智能和分析。第一个是为管理层持续提出的问题提供答案,第二个是通过分析增强面向客户或内部的应用程序。
一些问题将包括。“本季度进行了多少销售?” “费用或利润是多少?” 这种数据聚合称为 BI / Reporting。另一方面,当客户登录时,您根据他或她过去的行为向他提供有关新产品的信息。这是分析的结果。
分析的一个特殊示例是亚马逊产品推荐过程。
随着商业智能和分析变得越来越突出,每个业务部门都在招聘自己的数据科学家。随着数据的日益丰富,他们提供对数据的访问和有关该数据的知识变得越来越具有挑战性。因此,大多数业务部门都要求自动化数据治理。
遵守数据隐私和财务法规
法规有严格的规则来处理组织如何捕获和存储客户数据。这些规定不仅涉及单个数据元素,还涉及 cookie-id 或任何可以跟踪客户行为的机制。
由于公司将各种数据存储在不同的数据库中,因此由于合规性,他们需要管理数据以及与之相关的所有问题。
数据质量保证
所有这些需求都将数据治理推向了迫切需要的地步。他们都有不同的业务需求,正在寻找解决方案。