目前全球基础软件行业有两个重要的趋势:一方面是“软件现在吞噬一切”,每一家公司都正在变成软件公司;另一方面是“开源也在吞噬一切”,越来越多的公司也都在拥抱开源,并使用开源软件。
开源分布式数据库,就是在这样的背景下,成为全面云化时代匹配企业数字化转型的最佳选择。数据显示,到2021年传统商业数据库市场会下降20%至30%,而与此相应的则是云数据库的迅猛增长,按照Gartner预测,到2023年全球3/4的数据库都会跑在云上。
其中,Greenplum就是近年来涌现出来的优秀开源分布式数据库的“代表”,凭借其超强的数据存储、处理和实时分析能力,Greenplum今天已被广泛应用于数据仓库和大规模数据处理领域。2019年Gartner报告显示,Greenplum在经典数据分析领域全球排名第三,实时分析领域全球排名并列第四,Greenplum也是两个领域中排名前十的产品中的唯一一款开源产品。
但Greenplum过去主要基于传统的物理机部署,在数据库“云化”的大潮中也面临着很大的挑战,因为与在裸金属上运行的传统物理机管理相比,在虚拟机以及多云或者混合云环境中运行的Greenplum无论是性能的损耗,以及可管理性都遭遇着很多难题。
VCF on VxRail的出现提供了解决这一难题的“答案”——它不仅能够为企业私有云和公有云提供灵活、始终如一、安全的基础架构,同时也可以为在虚拟化以及多云环境中运行包括Greenplum这样的数据库应用提供统一的管理平台,是企业构建云数据仓库乃至大规模数据处理的理想平台选择。
从这个角度来说,超级云数据库,也必有超级云平台,特别是企业上云仍然是大势所趋,而云数据库作为上云过程中最为核心的业务迁移项目,选择戴尔科技云平台VCF on VxRail,相信能够让企业云化转型“事半功倍”。
GreenPlum数据库云化的挑战
众所周知,Greenplum是基于PostgreSQL的分布式数据库。
它具备以下特点:
1、支持MPP架构,Greenplum采用MPP架构,具备线性扩展存储能力及分布式任务处理能力,支持数据的大规模并行计算;
2、Greenplum支持主节点与计算节点增加冗余备份,节点宕机时可自动快速切换,能够降低整体数据仓库服务宕机风险确保数据不丢失。
此外,Greenplum支持多种数据存储方式,包括支持行存储及列存储的数据存储方式以及外部表存储,满足不同场景下的数据存储需求,且高度兼容PostgreSQL语法,提供可视化的管理控制台,企业也可以方便通过Greenplum快捷管理监控数据仓库,降低入门成本。因此,Greenplum自推出之后,在数据仓库领域具备了极大的优势,并在全球范围内拥有良好的口碑。
不过,也要看到类似GreenPlum这样的MPP数据库,过去几年也正面临着全新的挑战,那就是在虚拟机上运行时往往会使得IOPS的性能损耗,已成为一个不争的事实。同时,跨云平台一致性的管理也是GreenPlum的一大难题,这也导致了很多企业级客户目前关键业务的数据库仍然还运行在传统的物理机上。
正如VMware解决方案架构师陈实所言:
“
与在裸金属上运行的传统基础架构管理相比,在虚拟基础架构上运行Greenplum环境的可管理性还可以进一步提高,因为资源需求会随着业务需求波动,这就使Greenplum集群处于动力不足或过度配置的情况。
因此,这就需要更灵活、扩展性更强、更安全的基础架构来满足Greenplum不断变化的需求。
”
其实,从GreenPlum数据库发展历程来看,为了最大限度的释放GreenPlum的能力,早在9年前GreenPlum数据库就开始运行在DELL EMC DCA的一体机上,4年前GreenPlum宣布运行在x86的物理机上,而随着VMware VCF架构全面支持Kubernetes(即VCF with Tanzu),GreenPlum的“云化”进程也会随之进一步提速。
▲VxRail Manager和SDDC Manager集成
基于此,戴尔科技集团通过在VCF on VxRail运行Greenplum,并进行了一系列的最佳实践,希望能够为运行包括Greenplum数据库这种全新工作负载的企业寻找到一条更好的云化转型之路。
而最终的测试结果也显示——VxRail上的VCF全栈集成能力,将超融合基础架构层和VMware云软件堆栈全面融合起来,可以为客户提供一个完整、自动化的“交钥匙”混合云体验。
它不但可以进一步提升GreenPlum数据库的能力,实现跨多云环境下的数据库的灵活迁移负载,更能大大减少客户在转型之中的风险,增加了整个系统的运行效率,真正解决了企业在大数据时代云上数据能力构建和云上数据分析的业务“痛点”。
VCF全面释放Greenplum能力
据陈实介绍,本次解决方案中VCF的测试环境由管理域和工作负载域组成,其中为VCF管理域创建了4节点VxRail P570F集群,运行管理虚拟机和设备;而在工作负载域中,则创建了另一个4节点VxRail P570F集群和另外的NSX-T Fabric,并部署了NSX Edge集群和Greenplum虚拟机。
▲VCF on VxRail架构上的Greenplum
值得一提的是,该解决方案也可以根据客户的需求和数据库大小,在工作负载域中扩展更多的物理主机,这是因为VCF架构中的vSAN集群可以支持多达64台的非延伸集群物理主机。
随着vSAN集群增加更多的主机,不仅用于计算的CPU 容量和内存可以增加,vSAN存储容量也能随之增加,这也是超融合架构的优点之一,即可以同时按比例增加计算和存储容量。
在此基础上,工程师团队还测试了将工作负载域从4节点增加至8、16、24、32和64个节点的情况。而测试结果显示,在每种情况下,计算和存储资源均随着需求增加,而性能则呈线性增长。
而针对Greenplum虚拟机的部署,解决方案也从Greenplum容量规划、虚拟磁盘和数据节点、Greenplum优化、硬件资源、软件资源、网络配置、vSAN配置等不同的维度给出了测试的方法和思路,以及详细的配置信息。
此外,为了验证VCF on VxRail运行Greenplum的可用性,测试团队还进行了物理主机故障、物理缓存磁盘故障以及物理容量磁盘故障等产经的验证,最终该解决方案全部通过上述测试。
▲VxRail硬件配置
▲VCF软件资源
不难看出,在本次VCF on VxRail运行Greenplum的方案中,VCF on VxRail的VxRail Manager和VCF Manager软件提供的生命周期管理功能,可以为Greenplum提供了一致性的管理工具平台。
而VCF中的vSAN为Greenplum提供了可靠、高性能、灵活的存储;NSX-T则为Greenplum提供了细粒、安全、高性能的虚拟网络基础设施。此外,vSphere DRS和vSphere HA提供了高效的资源利用和高可用性。
换句话说,戴尔科技集团通过这样的最佳实践,不仅全面释放了Greenplum的能力,更为众多的企业在VCF on VxRail上运行Greenplum提供了一种可落地、可部署的设计方法和通用架构,值得参考和借鉴。
超级云数据库,必有超级云平台
事实上,除了支持Greenplum这样的超级云数据库,今天VCF on VxRail已成为企业未来混合云平台与数据中心建设中最为重要的解决方案,是企业数字化转型中必选的超级云平台。
在戴尔科技集团大中华区云计算和超融合技术顾问刘磊看来,VCF on VxRail最为核心的优势,就是能够帮助企业级用户轻松构建和运维具有公有云体验的私有云或者混合云,实现“一致的基础架构,一致的运维体验和一致的安全保证”,真正让企业提高业务敏捷性灵活性,同时降低总体云建设和运维成本。
我们可以从以下三个角度全面解读VCF on VxRail:
0
1
从VxRail的角度看,VxRail不仅是基于超融合技术的完整数据中心生态,也是VMware云原生应用最完美的基础架构,它完整地集成了戴尔易安信和VMware的生态,是紧耦合的超融合数据中心解决方案,具备完整的数据中心功能。
同时它还实现了硬件平台、超融合平台、网络配置初始化管理和虚拟化平台的单一界面的统一管理。此外,它还具备全生命周期管理,能够实现自动化、安全和方便的软件更新。
0
2
从VCF的角度看,它是基于VMware成熟可靠的云技术产品、沉淀了VMware十多年全球大型客户云建设与运维,以及与公有云厂商合作的丰富经验打造而成,不仅能够提供公有云体验的私有云/混合云,也能够让企业的应用无论是在云上,云下乃至云间都能自由平滑迁移,同时提供一致的运维体验和保障一致的应用安全,能够为“企业上云”构筑坚实的创新基石。
0
3
从VCF on VxRail角度看,它是戴尔易安信和VMware技术创新的“集大成者”,也是戴尔科技集团为企业上云量身打造的超级云平台,能够为企业提供安全稳定的私有云和混合云的架构。
更为重要的是,企业还可以根据自己业务的需要进行VCF on VxRail的灵活选择,同时由于基础架构的一致性,企业现有的工作负载无需任何修改,就可以灵活地在私有云和公有云之间、多个公有云之间进行迁移。
这种负载迁移同时也是双向的,既可以从私有云到公有云,也可以从公有云到私有云,或者是从一种公有云到另一种公有云,给用户提供最大的便捷性。
从以上总结来看,戴尔科技集团大中华区云计算和超融合技术顾问刘磊表示:
“
VCF on VxRail是能够随着企业需求而转变的现代化云平台,其端到端全堆栈集成的生命周期自动化管理能力,可简化、精简和自动化SDDC的运营,更能一键式全堆栈自动化修补和升级SDDC平台,这些独特的优势都会加速企业迈向混合云的全新旅程。
”
VCF on VxRail通过运行Greenplum,彻底化解了超大规模数据库上云过程中带来的种种难题,也真正证明了自身作为“超级云平台”的全新作用和价值,无疑将为中国众多企业级用户实现全面云化以及完成数字化转型夯实更为坚实的基础,也必将成为今后企业数字化转型和升级过程中的首选云平台。
尊敬的读者
近日
CIO 时代学院直播间
邀请到了戴尔科技集团两位专家
就云平台上的数据仓储和
大规模数据处理
以及如何在多云和混合云架构中
利用VCF全面释放Greenplum能力
等内容进行分享和介绍
请点击链接, 观看会议回放:
http://images.ciotimes.com/2021012101.mp4
相关内容推荐:戴尔易安信 VxRail 全闪存技术 | 提升系统性能和管理能力,带来显著的成本、空间和能源节约。