如今的数据库市场呈现出一片百花齐放、百家争鸣的新面貌。无论是传统数据库厂商、云数据库厂商、还是新兴数据库厂商,都在不遗余力地打造各种类型的数据库:如OLTP、OLAP、HTAP、NoSQL等。据悉,仅我国就有200多款数据库产品。虽然数据库种类多、产品多,但整体的发展方向基本一致,即:云原生、分布式、HTAP、多模等。其中,分布式可谓是重中之重。
这是因为随着企业业务全面向数字化、在线化、智能化演进,企业面临着呈指数级增长的海量数据带来的存储需求和挑战,业务上有更多的热点和突发流量带来的挑战,企业需要降本增效,进行更加智能化的数据决策,传统的数据库已经难以满足和响应快速变化且持续增长的业务诉求。而分布式数据库具有透明性、数据冗余性、易于扩展性、自治性等特点,还具有经济、性能优越、响应速度更快、体系结构灵活、易于集成现有系统等特点,可以很好地解决企业用户的核心诉求。
七大关键技术,承载金融级核心系统
金融行业,尤其是银行业是对数据库依赖度极高、又对数据库要求最为严苛的行业。随着互联网及移动互联网技术的兴起,网上银行、手机银行、电子支付等新业态出现,高并发、海量数据、超高峰值等挑战接踵而至,导致数据资源存储、计算和应用等需求大幅提升。以往银行业务架构采用的大/小型机+集中式数据库的方案,已经难以满足对业务稳定性与连续性的要求。而分布式数据库可以满足金融行业高可靠、高性能、低成本、平滑扩展等需求,逐渐成为了金融行业打造核心竞争力的重要手段之一。
从安全的角度出发,今年早些时候,中国人民银行会同市场监管总局、银保监会、证监会联合印发了《金融标准化“十四五”发展规划》,提出要稳步推进金融科技标准建设,系统完善金融数据要素标准,健全金融信息基础设施标准,强化金融网络安全标准防护,推进金融业信息化核心技术安全可控标准建设。对于金融业务来说,安全是数字金融服务的基石。为了满足金融行业高扩展、高并发、高性能、高安全性等挑战,华为云在去年推出了主打金融政企核心业务负载的分布式数据库旗舰产品——GaussDB,这是华为深度融合多年数据库领域经验,充分结合企业级场景需求,基于openGauss自研生态推出的企业级分布式关系型数据库。是什么样的特性使得GaussDB 俘获了众多金融行业用户的心呢?这要从其关键技术说起。
首先是分布式执行框架。业务应用下发SQL给Coordinator,SQL可以包含对数据的增(insert)、删(delete/drop)、改(update)、查(select)。Coordinator利用数据库的优化器生成执行计划,每个DN(Data Node)会按照执行计划的要求去处理数据。
GaussDB 分布式执行框架示意图
因为数据是通过一致性Hash技术均匀分布在每个节点,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动。DN将结果集返回给Coordinator进行汇总。Coordinator将汇总后的结果返回给业务应用,从而提升复杂SQL查询的性能。
第二是GTM-Lite技术。GTM-Lite可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单GTM的性能瓶颈。这里的高性能事务管理指的是无锁、多版本、高并发事务技术。而且分布式的GTM-Lite方案提供全局事务快照和提交管理,实现强一致性,且无中心节点性能瓶颈。
第三个关键技术是基于NUMA-Aware实现高性能事务处理。结合鲲鹏多核CPU架构优势,通过进行NUMA绑核、对全局数据结构进行NUMA分区改造,减少跨核处理和核间冲突,提升业务并行处理能力;充分利用鲲鹏原生Atomic_LSE指令,实现NUMA-Aware自旋锁,大幅降低指令数,有效提升指令效率,性能更强。
GaussDB NUMA-Aware技术架构示意图
第四个关键技术是集群HA,多层级冗余实现系统无单点故障。GaussDB通过硬件冗余、实例冗余、数据冗余,实现整个系统无单点故障,高可用。其中硬件高可用包括存储磁盘RAID冗余、网络双交换机冗余、多网卡冗余、主机UPS电源保护。软件高可用则包括协调节点CN实例多活冗余、数据节点/全局事务管理/ 集群管理器实例Active-Standby冗余。除此之外,GaussDB还通过全量+增量备份,打造闪回和PITR等企业级能力,实现数据按需回退、任意时间点的数据恢复,最终进一步保障数据库的高可用。
第五个关键技术是跨AZ/Region容灾技术带来的高可用。首先是集群内高可用,实现了数据不丢失和业务秒级中断。同城跨AZ容灾,数据不丢失,实现了分钟级恢复。
除了同城跨AZ, GaussDB还推出了同城双集群高可用方案,提供金融级高可用服务,支持RPO=0 、RTO<60s的同城双集群切换,主集群在出现故障的情况下,备集群还具备继续提供服务的能力,尽最大可能保障企业用户的核心业务7x24小时无中断。
第六个关键技术是Scale-out在线横向扩展带来高扩展。GaussDB支持单集群1000+节点,节点扩展下能够获得卓越的性能线性比,同时节点扩容能够做到完全在线,对客户透明。节点扩容完成后DN数据自动重分布,CN自动完成负载均衡。
GaussDB Scale-out横向扩展示意图
第七个关键技术是一站式迁移解决方案。GaussDB基于数据库和应用迁移(UGO)和数据复制服务(DRS),从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。
为众多金融机构打造安全可靠的数字底座
在对数据库要求最为苛刻的金融行业,多家国有商业银行,以及股份制银行和保险证券机构,已经坚定选择了华为云分布式数据库GaussDB作为数字化转型的坚实数据底座。
今年4月,邮储银行新一代分布式核心系统全面投产上线的消息引发了业内的广泛关注,这是国有六大行首个落地的分布式金融新核心系统。
与其他大行一样,邮储银行以往采用了经典的大型机+商业软件架构支撑初期的信息化建设。日常业务中,银行有不计其数的客户交易记录、交易明细查询、历史账户信息等数据,还需要实时的金额收支分析。随着金融服务在线化,小额交易频次越来越高,传统的核心系统受到剧烈冲击,容量瓶颈、性能支撑、业务负载等挑战随之而来,尤其在交易高峰时段,因系统弹性不足时常造成交易拥堵,严重影响了用户体验。
2019年,邮储银行开始对核心系统进行重构,选择了华为云分布式数据库GaussDB作为新一代个人业务核心系统IT数字化底座的重要组成部分,进行全新的分布式改造。GaussDB采用行业先进的全并行分布式架构,通过多个节点并行来分担系统压力,提供极致吞吐量;还拥有超大存储容量,支持事务的强一致性;在数据保护方面,提供两地三中心的容灾方案和多层级冗余保障数据的实时安全,实现系统无单点故障。
上线后的新系统可支撑海量交易、弹性伸缩、金融核心级高可靠和高可用,可具备为全行6.37亿个人客户、4万个网点提供日均20亿笔,峰值6.7万笔/秒的交易处理能力。
除了邮储银行,GaussDB还联合工商银行探索和打造以分布式数据库为基础的金融级数据库转型解决方案。对标工行主机“两地三中心”部署架构和高可用能力,基于存算分离形成多集群部署架构,夯实分布式数据库核心承载能力。同时聚焦传统数据库与应用耦合度高的难点,锤炼数据库平滑迁移能力,实现异构数据库的自动迁移。
永安财产保险是陕西省最大的财险公司。华为云帮助永安财险重构了核心系统并实现了主流商业数据库切换,同时降低了运维压力。通过切换至分布式数据库GaussDB,实现数倍性能提升,提高了业务运转效率,整体资源投入节省25%。
由此可见,GaussDB足以胜任金融行业的多方面需求。
支撑金融行业核心架构,任重而道远
数据库作为金融信息系统的核心基础设施,历经数十年发展,为金融行业转型升级提供了有力的技术支撑。同时可以看到,分布式将是数据库当前乃至未来的发展趋势之一,有无限广阔的市场和空间。
虽然分布式数据库的发展历史相对较短,但却具备极致的扩展性、可用性和开放性,面临以金融行业为代表的海量数据存储、流量洪峰等业务场景有得天独厚的优势。华为云分布式数据库GaussDB深度结合了华为在数据库领域多年来的技术积累和实践经验,能满足客户高安全、高可靠、高性能、高扩展、智能化全方位需求,为金融机构提供功能全⾯、稳定可靠、扩展性强以及性能优越的企业级数据库服务。未来,GaussDB也将持续深耕技术创新,凝聚力量,助力金融机构安心上云,实现金融行业高效数字化转型!