2023 年数据治理趋势

大数据 数据分析
尽管整个组织的数字孪生还没有普及到整个数据领域,但是数据治理的许多基本方面——当通过实时访问控制和情景适应性的镜头应用时——可以模拟它们详细描述当前发生的事情的能力。

数据治理的价值对企业和整个数据管理的价值体现在2023年塑造该学科的两个最明显的趋势中。

首先,这个术语本身几乎已经被专门从事访问管理、数据控制和企业安全内部方面的供应商所使用。这些供应商专注于法规遵从性、数据隐私和数据保护——在如今高度监管的环境中,这些已经迅速成为决定当代企业成败的因素。即使是对这些公司投入的资本的粗略检查也能证明这一事实。

第二个趋势是数据治理对越来越多的环境、用例和市场条件的实时适用性,所有这些都要求数据治理变得比以往任何时候都更加易变,以适应这些需求的出现。组织正在认识到,尝试完全预先确定每一种可能的数据治理突发事件并为此做好相应准备是很困难的。

相反,他们现在正在尝试定制数据治理结构,以便他们可以动态调整以适应发生的情况。

TopQuadrant 首席技术官Ralph Hodgson 表示:“了解可能发生的事情(通常数据治理就是表达这种情况)、已经发生的事情和正在发生的事情之间存在区别 。” “正在发生的事情是数据治理运营方面非常难以解决的问题。如果有可能实现企业的数字孪生,那么数据治理的‘正在发生的事情’理念就是未来所在。” 

尽管整个组织的数字孪生还没有普及到整个数据领域,但是数据治理的许多基本方面——当通过实时访问控制和情景适应性的镜头应用时——可以模拟它们详细描述当前发生的事情的能力。

这只是从该知识到控制和利用它以实现治理目标的逻辑进展。

管理元数据

元数据管理可能始终作为数据治理的核心存在。组织可以从旨在优化此任务的众多工具中进行选择。有大量的数据目录、主数据管理工具,以及 Privacera 首席执行官 Balaji Ganesan 所说的“敏感数据目录”,它们通过各种元数据模型自动进行数据发现和分类。根据 Hodgson 的说法,有六种主要形式的元数据与数据治理的突出领域接壤,包括: 

数据表达:这个维度属于“数据如何表达;什么数据类型;什么数据表达式;它是可量化的吗?它有计量单位吗,等等。” Hodgson 透露。

数据质量:质量数据对于信任数据和鼓励企业采用这些数据是不可或缺的。

用途: 该领域涉及数据的重要性、数据安全性和数据机密性。

数据管理:数据管理需要“所有权、指标、可访问性”,Hodgson 详述道。

法规遵从性:有关法规遵从性的元数据通常会为政策和标准提供信息。

数据来源:数据沿袭或数据来源表示数据的起源和企业旅程。

根据 Gartner的说法,元数据已经从被动变为主动,为数据结构的数据集成等实时用例提供信息。因此,Hodgson 描述的元数据(以及伴随的数据治理结构)最关键的方面之一是它们“都有表达事物之间关系的共同需求,”Hodgson 说。清楚地了解这些数据治理领域内的元素如何相互关联,使组织能够调整它们以满足新的要求、数据源或用例。

数据模型

Hodgson称之为“元关系”的规则是动态修改 数据治理组件不可或缺的一部分以满足新出现的情况和业务条件。概念数据模型由这些关系、它们的定义和消除它们歧义的语义组成——如有必要,在部门或应用之间。此类数据模型有助于与数据治理相关的一切,从呈现数据访问控制到促进生命周期管理必需品(如保留策略)。

定义良好的概念数据模型可能是调整数据治理协议以满足出现情况的起点。为此,此类模型由特定领域(模型的内容)和学科组成。 Hodgson指出:“你可以为护士提供化学,或者为计算机科学提供电气工程。” “领域和学科之间是有区别的。”

其他维度包括企业对主题的看法、模型的特异性级别、方面和时间信息。使用必要的数据标识符、术语系统和模式指定模型的这些元素,可以很容易地将它们组合起来进行部门间分析、源系统、客户画像、数据隐私需求等之间的分析。TopQuadrant 首席执行官 Nimit Mehta 阐述了一个用例,其中有几个致力于野火预防的政府机构,每个机构都有自己的术语。“不是把它集中起来,做一个‘你应该用同样的方式说话’,图表允许你以一种标准驱动的方式,创建一个元模型,并使那些联邦语言学保持它们的位置。”

分布式数据管理

数据格局的分布及其对数据管理的影响,将继续成为明年数据治理领域的首要挑战。除了云计算和多云计算的日益普及之外,Data Fabric等架构尤其是数据网格,使这个问题更加复杂。诚然,它影响数据治理的所有方面,从生命周期管理到元数据管理。尽管如此,正如 Ganesan 正确指出的那样,“这就是数据治理的用武之地:公司内部。他们如何查看和处理这些数据?” 为此,在新的 12 个月内,对专门用于扩展交付受管数据访问能力的解决方案的投资——同时减少跨源策略执行措施的数量——不太可能减少。

Ganesan 表示,这些收益可以通过多种方式实现,包括“提供单一管理平台,可以在其中管理所有政策 [并且平台] 执行这些政策”。策略减少是通过基于属性的访问控制 (ABAC) 及其推论、基于目的的访问控制 (PBAC) 实现的,这两者都对保持流畅、响应迅速的数据治理有影响。

根据 Immuta  CTO Steve Touw 的说法,“基于数据标签标记数据和推送策略不是 ABAC。这是 ABAC 的一个组成部分。ABAC 的真正力量在于使 [访问] 成为一个动态的运行时决策,而不是一个预先计算的、基于角色的决策。” PBAC 建立在这一优势的基础上,仅为特定目的授予访问权限,例如处理特定报告。

数据隐私和监管合规

ABAC 和 PBAC 都是满足法规遵从性的基础,特别是在横向数据隐私授权方面,并向监管机构证明这些事实。“你不仅获得了控制和屏蔽,而且还获得了法律监督,让你的用户同意他们只会将事物用于特定目的,并在他们访问时根据该目的行事数据,”Touw 规定。他提到的动态运行时决策是为修改数据治理结构而准备的,例如遵守特定用例的同步法规,甚至在合并和收购期间促进数据访问。

此用例和其他此类用例的合规性证明得到数据来源的支持,这也普遍适用于数据治理的许多方面。日志文件是关于谁访问了哪些数据、在何处、何时以及使用 PBAC 和其他方法出于何种目的而生成的。也许数据沿袭应用于监管合规性和其他治理维度的更广泛影响与其提供的环境有关——这有助于告知修改治理概念以满足不断变化的环境的能力。“从血统的角度来看,这不仅仅是数据从哪里来的问题,还有使用这些数据的用户是谁;他们为什么要用它?” Immuta 全球解决方案架构副总裁 Matt Vogt 表示。“所有这些背景信息都很重要。”

数据质量 

数据领域的日益分布——除了大量可用的非结构化数据之外——使数据质量成为管理良好的数据的先决条件。“治理部分围绕元数据、质量和访问部分,以减少用户查找和使用该数据的摩擦,”Ganesan 反映道。尽管有大量 与数据质量相关的指标,但核心指标不可避免地涉及“完整性、正确性、清晰度、一致性等”,Hodgson 解释说。

类似于大量涉及统计和非统计人工智能发现和分类数据的自动化,有这样的机制可以帮助查明数据质量存在问题的领域,并加以纠正。模糊匹配和精确匹配也可以提供这些好处。因此,这种现代数据质量机制“使用机器学习,我们可以建议映射到词汇表,然后词汇表,例如,以词汇表的形式,可以表达一致性规则,”霍奇森说。

态势感知,实时响应 

正如 Hodgson 先前指出的那样,数据治理的理想是业务及其数据流程的实时模型,以确保后者的长期价值,同时丰富前者。这种范式隐含着修改数据模型、权限、术语甚至治理策略的能力,如果需要的话,以一种提供业务价值同时降低风险的内聚方式。动态访问控制功能、活动元数据和流动的分布式数据管理可以促进这些收益。

比人们想象的更快,实施这种可变形式的数据治理将成为强制性的。

本文作者:Jelani Harper 

责任编辑:武晓燕 来源: 千家网
相关推荐

2022-12-06 17:15:08

物联网数据治理

2023-02-07 14:40:48

数据工程软件工程师SQL

2023-01-24 16:41:40

数据治理人工智能

2023-03-16 14:31:57

数据中心服务器

2022-02-16 08:28:17

云计算数据治理运营安全

2023-01-10 17:01:04

2023-02-02 16:53:25

2023-02-10 09:10:10

人工智能机器学习数据

2023-02-06 16:56:45

数据中心服务器

2023-11-09 15:02:45

数据仓库数据湖架构师

2021-08-05 11:21:01

数据治理数据收集

2023-07-31 11:33:47

数据中心服务器

2023-01-10 14:59:09

2021-12-06 11:05:48

数据保护网络安全数据备份

2020-07-22 11:39:30

物联网人工智能技术

2022-12-29 10:01:43

2022-12-27 10:13:11

数字化转型趋势

2023-12-22 14:17:18

数据泄露数据安全

2013-01-06 18:13:40

数据存储

2022-12-29 14:06:09

数字化转型自动化
点赞
收藏

51CTO技术栈公众号