近日,由 51CTO 主办的 WOT 全球技术创新大会在北京圆满落幕,50 余位具备前瞻视野和实践经验的讲师、专家、以真场景·真实战·真方法为准则,一起探究新技术如何帮助企业实现数字化能力的飞跃和提升。
近年来,在自主创新的时代背景下,数据库国产化替代正在加速演进,金融行业率先成为各行业国产化推进的先行者。在 WOT 全球技术创新大会《国产数据库在金融核心系统应用实践》专场,腾讯云多位技术专家围绕国产化数据库替代难点、国产化数据库迁移思路和方法等方向进行经验分享。
打造新一代国产化精品,TDSQL 助力政企夯实数字基座
腾讯云数据库产品总监陈琢
如今是国产软件最好的时代,国家在大力推进国产化替代,从硬件到操作系统、数据库、中间件,全链路的国产化需求旺盛,政企陆续进行核心系统替换和分布式改造。
腾讯云数据库产品总监陈琢
核心分布式数据库改造主流技术方案分为两种,一种方案是应用进行单元化改造。业务应用根据一定规则拆分成若干单元,并且在同一个单元内,计算和存储采用同一个资源。这种改造方式的优点是易于扩容和变更,控制粒度更细,可以降低故障影响面,缺点是资源消耗高,运维自动化要求也高。第二种方案是分布式+微服务改造的路径。按照业务主体来拆分业务,微服务之间通过框架实现跨服务之间分布式事务的处理。优点是通过模块化解决方案,服务级扩容,实现分布式事务处理,应用更加简单,但改造应用从而适配分布式数据库,在极端情况下故障影响面大。
陈琢表示,微众银行和某国有大行的核心交易系统采用单元化的方案,而城商行和农商行选择分布式+微服务的方式较多,也有部分银行采用分布式+微服务和单元化两种改造混用的方式。不同需求场景下,腾讯云国产数据库TDSQL均可提供具有竞争力的产品和迁移方案,帮助行业用户迁移传统国外厂商的核心数据库系统。
陈琢重点介绍了TDSQL 新版本的特性。通过引入列存计算引擎,复杂查询性能力提升 100+ 倍,打造极致的 HTAP 能力;在备份回档基础方面,TDSQL 提供更丰富更快速的数据恢复能力,包括主动闪回和回收站,防止实际生产过程中出现问题。此外,TDSQL 还支持双轨运行方案,在国产化资源池构建实例,在原有 x86 资源池构建另一套实例,两个实例之间的数据是强同步,RPO 为 0,通过一云多芯,支持通用 x86 与国产资源混部。TDSQL以内核兼容为基础持续增强Oracle 兼容能力,打造驱动、工具、内核三个层面的兼容。
目前,TDSQL 解决方案应用落在在国内最大规模的政务云项目中,由 TDSQL 数据库承载原有业务,规模上支持总局、31 个省、5 个计划单列市(深圳、厦门、大连、青岛、宁波)的37套架构,并且数据同步链路规模最大、最复杂。
此外,腾讯云还在积极建立 TDSQL 上下游生态圈,从基础环境、业务系统、集成生态三个方面进行全面适配,在集成方面,腾讯云通过与认证服务商合作,共同打造 TDSQL 服务生态环境,让利给合作伙伴;在行业方面,腾讯云联合头部合作厂商,进行商机共享、优势互补。
TDSQL 助力金融业核心系统创新应用实践
腾讯云数据库高级工程师于沛涛
过去,金融行业核心系统对国外厂商依赖程度超过 90%,技术架构与硬件耦合性强。随着国产化替代的推进,金融行业核心系统软硬件均可实现 100% 国产化,开源软件与自主研发结合的方式,更加自主可控。国产化数据库+微服务架构的技术组合,赢得了诸多金融企业的青睐。
腾讯云数据库高级工程师于沛涛
于沛涛表示,国产化数据库有三大优势。首先,国产化分布式消除了资源天花板瓶颈,由于横向扩展对硬件的依赖是松耦合的,因此,普通的 x86 服务器就可以满足业务的增长,并且可以实现降本增效。第二,数字化转型催生大量业务创新,企业可以通过国产化数据库的弹性可扩展来响应业务创新的需求;第三,在国家监管要求下,金融机构可以实现自主可控,推进金融业关键信息基础设施国产化进程。
然而,金融行业国产化数据在稳定性、兼容性、可用性、安全性、易用性等方面要求非常高,才能保障金融业务的政策运行。因此,腾讯云提供了企业级分布式数据库 TDSQL。
TDSQL 架构由平台管理、计算节点组和存储节点组组成。管理平台称之为赤兔平台,包括多个内部管理组件,通过全图形化的操作方式,用于数据库的管理和运维。计算节点组主要由 SQL 引擎组成,响应前端 SQL 请求;存储节点组也称为数据节点,可以根据业务情况来创建分布式数据库和集中式数据库。据了解,TDSQL 具有双内核引擎,MySQL 引擎完全兼容 MySQL 协议,面向高性能、大并发、大容量的 OLTP 场景;PostgreSQL 引擎特定场景下可Oracle兼容度高达 98% ,具有 AP 能力,面向海量数据复杂的 HTAP 场景。
于沛涛介绍,TDSQL 有四大优势,包括稳定性、易用性、兼容性和高可用性。由于 TDSQL兼容 Oracle/MySQL 接口,开发人员可以按照自己的开发习惯进行处理,避免被绑定,同时,云上云下同源,保证输出的稳定性。在易用性方面,开发人员更容易上手,运维人员通过图形化监控运维平台操作,降低上手难度。在兼容性方面,企业可以根据自身业务场景、应用数量,灵活地选择小型业务集中式实例;对于大型关键业务,可以从原有集中式切换到分布式架构,以便获得更好的扩展性。在高可用方面,TDSQL 针对金融行业进行了深度适配,确保多副本架构下数据强一致,避免故障后导致结群数据错乱和丢失;基于TXSQL 内核的强一致复制功能,可以实现同城双中心 RPO=0 的容灾能力,确保 99.999% 以上可用性,同城自动切换 RTO<40 秒。
金融企业对于TDSQL 的建设通常有两种情况,一种是基于某个项目或某个业务进行建设;另一种是 TDSQL 深度使用用户,在全业务级别进行数据库规划。于沛涛建议,企业在进行数据库整体规划时,最重要的是选定硬件基线,包括服务器、网络、操作系统等。在硬件配置完成后,建议企业对网络规划进行相应的网络分区,并且要考虑多网络平面。接下来,就要进行TDSQL 数据库实例规格与性能基线的选定,对于全业务规划时建议采用统一规格配置,便于管理。此外,业务级别与容灾架构也是相关联的,对于核心业务,于沛涛建议采用两地三中心结构,并且业务独占集群。
某商业银行信用卡核心系统,采用了 DSY 单元化架构模式,每一个单元是完全独立的逻辑单元。通过采用两地三中心模式,某一个中心的单元出现了故障后,另一个中心的单元可以继续访问数据库,保障业务连续性。在采用 TDSQL 数据库后,信用卡新核心系统设计支持3 万/秒交易并发,支持 30 亿交易账户,同时支持小时级批量处理时效。相比老系统,新系统支持横向扩展,处理能力提升了 10 倍。并且,新系统 IT 成本仅为老系统的 1/3,真正意义上实现了银行IT架构的革新。
腾讯云数据库一站式迁移解决方案
腾讯云数据库高级产品经理程学飞
商业数据库成本高,并且集中式架构限制了线性扩展能力,加之安全自主可控以及国产化替代等原因,企业需要进行异构数据库迁移。
数据库迁移难点主要集中在四个方面。首先是迁移成本高、工作量大,人工操作数据库迁移风险较高,迁移周期长,耗费的人力成本较高。第二,数据库迁移技术复杂。数据库迁移对操作人员的技术水平要求较高,不仅需要掌握源数据库的技术还有懂得目的数据库的技术,并了解数据库之间迁移技术。第三,异构数据库的兼容程度不好评估。源库迁移到目的数据库的对象兼容程度如何,应用 SQL 兼容程度如何,迁移改造的风险和难度如何量化评估。第四,迁移过程无标准化流程。整个迁移过程可复用程度低,没有一个标准化的最佳实践方案。
腾讯云数据库高级产品经理程学飞
针对数据库迁移的四大痛点,腾讯云也提出了对应的解决之道。程学飞介绍道,针对迁移成本高、工作量大,腾讯云提供简单易用的数据库迁移平台 DTS-DBbridge;针对数据迁移技术复杂问题,腾讯联合生态多年数据库运维和研发经验工程师的技术积累。针对异构数据库的兼容程度不好评估问题,企业可以通过 DBbridge 自动化的评估和改造工具,平台化的数据库对象和应用评估功能,全面完整的迁移评估报告。针对迁移过程无标准化流程问题,腾讯云提供标准化异构数据库迁移流程,从评估、改造、迁移、校验等标准化和经检验的迁移流程。
腾讯云数据库 DTS-DBbridge 软件支持 Oracle、MySQL、MariaDB、PostgreSQL、SQLServer、DB2 等多种关系型数据库数据库迁移,可以帮助用户在业务不停服的前提下轻松完成数据库迁移上云,利用实时同步通道轻松构建高可用的数据库容灾架构,也可以通过实时数据传输为下游数据分析、应用测试、数据中台等业务提供强有力支撑。
在迁移评估方面,DTS-DBbridge 可以对表索引最基础的对象进行评估,并且出具相应的评估报告,指出对象是否在腾讯云数据库中兼容,对于不兼容的对象提出建议。在应用评估方面,针对客户现有的函数体,存储过程、触发器等方面,DTS-DBbridge 会对其中的语法进行评估,腾讯技术工程师回有针对性地进行改造。在数据的迁移和同步方面,DTS-DBbridge 不仅能够实现客户现有的全量数据迁移,也可以实现数据增加的同步和订阅。在数据比对方面,无论是数据迁移还是数据同步,如何保证数据的一致性,可以借助数据比对工具,通过页面配置后的简单操作就可以完成。
据了解,DTS-DBbridge 是四层的分层架构。最底层是IaaS层,不仅可以部署在物理机,还可以部署在虚拟机和容器上。在插件层,腾讯云将每一个数据库类型都形成一个功能插件,用户可以直接在 DTS-DBbridge 平台调用,包括迁移评估、数据抽取、数据装在和数据校验等能力。在平台层,DTS-DBbridge 提供任务定义管理、任务管理、任务调度、任务高可用、配置中心等功能。在业务层,DTS-DBbridge 提供数据源管理、迁移规则管理、迁移通道管理、迁移评估和数据校验等能力。
此外,腾讯云还总结多年迁移经验,形成了整体迁移的最佳实践,通过标准化迁移流程,结合迁移专家经验,可以成功将相关数据库迁移到腾讯云数据库。首先,腾讯云会对客户进行评估,对现有业务系统进行摸排,并根据摸排状况进行迁移评估;评估后会出具评估报告,提供相应的改造建议,而后腾讯云专家会提出方案的设计;方案设计完成后,要提供边缘化的测试系统,进行可行性验证,确认方案是否可行;方案确认可行后,就可以配合业务厂商和数据厂商进行相应的改造;改造完成后,再进行具体的业务测试,以及割接演练和业务验证;确认没问题后就可以进行正式割接,并提供持续护航保障。
某股份制银行原有数据库采用 Oracle,但 Oracle 备库是可读不可写,通过 DTS-DBbridge,将 Oracle 备库数据同步到 TDSQL。在业务割接上线前,通过全量多通道迁移+正向多通道增量数据持续同步,保障业务不停可以随时割接至目标 TDSQL;在业务割接上线后,关闭正向单通道增量同步,开启反向向增量同步,保障业务可随时回切到源 Oracle 库,保障数据安全性。
结语
如今,金融业务创新快速发展,推动着新技术正以前所未有的速度和力度发生深层次变革。这些技术发展,对金融服务模式带来重大影响,使得金融行业向数字化、分布式转型成为必然趋势,金融业务创新与科技创新正在相互促进,重塑金融行业系统能力。
腾讯云数据库也会不断进行技术创新,总结数据库迁移最佳实践经验,赋能金融行业核心业务系统替换,为金融业务国产化建设持续保驾护航!