当各种类型的数据开始通过多个数据通道实时大量流入时,数据管理业务面临着新的复杂性。对超高速、大容量、多类型的业务数据的分析,需要先进的数据管理技术和工具的成长和发展,云计算技术就是在这种需要下应运而生的。
然后,在单一、公共或私有云网络未能提供预期的业务结果之后,出现了多云和混合云环境时代。
数据管理通常包括高度复杂的任务,例如数据存储、数据集成、数据质量管理、数据安全和数据库管理。随着数据速度和数量的不断增加、数据类型的多样性以及无限的数据通道(传感器数据),数据管理很快就会变成一场噩梦,需要有效的技术解决方案。雪上加霜的是,将数据从数据存储传输到远程服务器的问题成为大多数企业难以解决的难题。
据预测,到 2022 年,基于云的服务市场将满足“90% 的组织”。尽管云平台潜力巨大,但云服务提供商也面临不少挑战。在当前数据优先和人工智能优先的时代,实时数据分析主宰着商业格局,业务分析的复杂挑战是:
- 孤立的数据存储库妨碍无缝数据集成
- 由于数据源、数据类型和数据量的增加而导致的低质量数据
- 缺乏合格的数据科学人员
- 缺乏明确定义的数据治理 (DG) 政策
因此,企业已经开始寻找能够解决上述所有挑战的数据管理平台和工具方面的技术解决方案。这也转化为全面的数据管理战略,该战略考虑了未来的数据质量、数据治理和复杂的云基础设施。
1. 多云的数据治理挑战
设想一个业务场景,客户必须管理多个业务部门——每个业务部门都配备了自己的边缘计算环境,由独特的云服务提供商托管和管理。管理这种地理上和运营上分散的数据可能会造成巨大的数据管理故障。 多云的最大好处是灵活性,即在企业需要的时间和地点提供解决方案的能力。
在混合云基础架构中,资源在本地、私有云和公共云环境中共享。混合云中顺利运行的最大障碍是缺乏治理和法规遵从性。
缓解混合云中数据管理的挑战表明,尽管混合云提供了未来的解决方案,但混合网络上的数据安全性和合规性问题是企业必须准备应对的问题。
然而,在多云环境或者在混合云中,尽管所有计算资源都分布在广域网上;资源管理(服务器)有些分散,对计算服务的流动产生不利影响。
因此,这些类型的云计算设置会导致资源管理不一致和错误,从而影响整体网络性能质量。此外,在日益规范的IT世界中,这些云网络现在面临着严重的合规性和治理问题。多云世界中数据治理的挑战解释了企业可以在多云环境中采用的一些 DG 最佳实践。
2. 云仓库的数据治理挑战
数据仓库日益增长的重要性在 Mordor Intelligence 报告中得到了回应,该报告表明数据仓库市场正以“11.17% 的复合年增长率从 2019 年的 63 亿美元增长到 2025 年的 119.5 亿美元”。在云上,数据仓库的开发进一步简化和加速。但是,数据治理和安全性仍然是需要关注的两个关键方面。
Privacera 首席执行官 Balaji Ganesan表示:
要变得像今天的数据环境那样去中心化和异构,数据治理需要集中管理,但需要本地执行。这实际上意味着实际的执行是由尽可能接近数据的数据库和应用程序完成的,而不是放入另一个层,这会成为单点故障。
3. 分布式云成为最终赢家
为了阐明混合云和分布式云之间的主要区别,Gartner分析师曾评论:
“混合云的一部分由客户设计、拥有、控制和运营,另一部分由公共云提供商负责。客户保留对其运营部分的责任,但无法利用公共云提供商的能力(例如技能、创新速度、投资和技术)。分布式云是下一代云计算,在保留云计算优势的同时扩展了云的范围和用例。首席信息官可以使用分布式云模型来定位未来需要的位置相关的云用例。”
那么,什么是分布式云环境?分布式云促进了跨地域的多个公共云网络的共存,结合了本地数据中心、远程云提供商的网络和其他第三方位置。但是,管理是从单点集中控制的。
在分布式云网络中,通过提供边缘计算已经很好地解决了这个问题——允许服务器和应用程序在非常接近数据位置的地方执行,从而将业务分析的速度、质量和性能提高几个档次。更重要的是,随着先进数据技术(如大数据、物联网 (IoT) 和人工智能 (AI)等先进数据技术的出现,边缘计算得到了商业推动。
边缘有助于解决以前在多云或混合云中被忽视的合规性问题。分布式云和边缘计算共同实现了在复杂的多云环境中所有系统的一致性。
分布式云操作的最大好处是将中央云的功能和服务扩展到远程卫星网络。谁是最大的受益者?当然是客户,客户现在可以在“单一控制平面”上从他所在的位置管理多个地理上分散的业务部门的所有业务计算需求。
4. 赋予数据消费者权力
在自助数据分析时代,“赋能普通企业消费者”是企业的核心重点。虽然通用数据保护条例 (GDPR) 等数据法规对全球企业施加了巨大压力,要求它们进行遵守,但是一些新的挑战,例如企业数据素养推动企业打破数据孤岛,转向技术支持的数据共享功能。
5. 展望未来:分布式数据管理就是答案
分布式数据管理路线图表明,鉴于企业中数据的指数级增长,集中的 IT 团队不可能管理和治理企业范围的数据。为了确保对其所有用户的数据访问得到良好管理和监管,企业必须转向分布式数据管理模型。
在分布式数据管理模型中,数据管理角色和职责在整个企业中共享。在这个新场景中,分散的专家团队将“管理数据访问和权限,同时消除目前集中 IT 存在的瓶颈。”
实际的实施过程可能相对困难,并且可能需要几年时间才能演变成一个成熟的工作解决方案。未来的数据治理平台将需要综合规则用于数据处理,其中包括安全性、合规性以及其他数据管理任务的核心问题。