云数据架构的日益流行表明了一个主题:在未来几年,越来越多的企业将把他们的数据中心业务完全迁移到云平台上,因为内部部署数据中心设施具有一些固有的优势。数字时代的企业生存已经成为向云迁移的代名词。
当企业希望以可承受的成本获得无限的数据存储和卓越的计算能力时,他们会转向用于企业数据管理的云数据架构。
想要更好地控制数据的企业可以创建自定义的内部私有云服务。私有云和公共云都是复杂的分布式系统,它们更适合使用将处理和数据分解为不同组件的应用程序架构。
云数据架构的可负担数据访问
云数据平台提供了对大量数据管理资源(如服务器、存储、应用程序和服务)的廉价访问,这些资源可以快速部署和使用,而无需服务提供商的任何交互。
云数据架构包含代表公司或组织在基于云的环境中进行数据采集、存储、分析和管理的规则、策略和模型。此外,现代云架构将计算层与实际硬件分离,从而使最终用户可以通过前端与云计算环境进行交互。
云计算的存储组件提供在云端存储和管理数据的能力。第三方云存储提供商,例如AWS公司的S3存储、MicrosoftAzure和谷歌云存储能够管理和维护数据,并提供远程备份服务。
虚拟化软件将云中的数据存储和计算层与硬件层分离,用户通过图形用户界面(GUI)与云计算基础设施交互。虚拟化通过在云中分离硬件和软件层,使得云计算提供商可以轻松有效地管理所有类型的软件,无论是应用程序软件还是存储系统。
云计算环境还通过自动化响应生成有效地处理数据安全事件。当使用云计算服务并遵循推荐的实践来处理和管理数据时,可以提高数据安全性。
云数据架构的优势和挑战
云数据架构的最大优势在于,它为所有复杂的大数据项目提供了无限的数据存储和强大的计算能力。亚马逊网络服务、微软Azure或谷歌云平台等知名云提供商为各种形态和规模的企业提供了变革性的大数据管理功能。
大多数已经投资于云数据架构的全球企业报告说,在过渡过程中,他们所获得的优势在某种程度上被技术挑战冲淡了。在推出云数据架构环境期间,数据架构师通常会面临挑战。其中一些技术挑战包括数据重力、数据安全问题、现有投资、数据质量和遵从性需求以及不完整的数据迁移。例如:
- 在数据摄取、转换和分析阶段,数据引力问题在多云环境中浮出水面。独立的数据存储、事件驱动的体系结构、边缘计算和批处理通常可以缓解这些挑战。
- 通过使用强大的数据安全和数据治理策略,云数据架构可以应对围绕数据控制、分类和生命周期的数据安全挑战。
- 现有投资总是会与新的云数据架构计划竞争。减轻这一挑战的最佳方法是用一个实际的业务案例来验证云数据架构的有用性,该业务案例概述了详细的成本效益分析。
- 数据质量和监管要求可能会对云数据环境构成严重威胁,但有足够的用例证明云数据架构已经提供了足够的责任保护。
- 不完整的数据迁移是一个挑战,许多企业由于这样或那样的原因有未完成的数据迁移项目。
构建成功云数据架构的秘密
关于构建云数据架构的技术讨论超出了本文的范围,但在进行规划时,数据架构师应该牢记以下考虑事项:
- 一个可靠的提案或业务案例可以作为云架构计划的起点。如果有一个特定的用例,就很容易制定一个有效的体系结构计划。有了手头的业务用例,企业团队可以将用例的需求与云数据架构的选择组件相匹配。通过实际业务应用推动的计划,更有可能获得企业高层的批准。
- 由于云架构范式是广泛而开放式的,众多的排列、无穷无尽的可用技术选项以及广泛的硬件和软件平台选择可能令人生畏。在进入一个不确定且代价高昂的环境(可能无法交付预期结果)之前,先对一些场景进行试点测试当然更实际,也更划算。
- 非结构化数据管理一直是企业面临的严峻挑战。云数据架构环境为试验非结构化数据提供了可能性。在传统数据库环境中无法做到的事情,现在都可以做到。
- 重点应该放在简化数据工作流上,因为它们比数据管理技术和工具更重要。从长远来看,这种方法将有利于数据分析应用程序。
- 开始的成本与性能指标最终可以节省大量运营成本,这在云计算中非常容易增加。数据管理应该是一种分层的实践,这样昂贵的资源就只保留给少数几个进程。
云服务交付选项:它们如何影响数据
在平台即服务(PaaS)模型中,云提供商提供操作系统、中间件和运行时,以及硬件层(服务器、网络硬件、虚拟化功能、数据和软件层)。
在基础设施即服务(IaaS)模型中,用户角色包括管理应用程序、中间件和操作系统,而云服务提供商负责硬件,包括服务器、硬盘、数据存储等。
软件即服务(SaaS)服务模式允许云计算提供商在云平台上安装和维护软件,而用户则通过互联网从他们的桌面访问软件。
公共云提供商使用“多租户”模式,这基本上意味着将相同的服务器空间用于存储和计算服务租给多个客户,以降低每个客户的成本。在此场景中,使用相同的服务器向多个客户交付服务。
在私有云部署中,企业通常使用专用服务器来满足数据存储和计算需求。他们通常有更高的交易量,并将受益于专用的私有云部署。它们能够集成应用程序,无论应用程序是在云中还是在本地,并且它们能够在它们之间不受干扰地进行数据流动。客户可以非常灵活地访问云托管的数据,然后将数据与部署在同一环境中的其他数据或应用程序集成。