国产化数据库正当时!腾讯云 TDSQL 赋能金融核心系统替换

原创
云计算 数据库
近年来,在自主创新的时代背景下,数据库国产化替代正在加速演进,金融行业率先成为各行业国产化推进的先行者。在 WOT 全球技术创新大会《国产数据库在金融核心系统应用实践》专场,腾讯云多位技术专家围绕国产化数据库替代难点、国产化数据库迁移思路和方法等方向进行经验分享。

近日,由 51CTO 主办的 WOT 全球技术创新大会在北京圆满落幕,50 余位具备前瞻视野和实践经验的讲师、专家、以真场景·真实战·真方法为准则,一起探究新技术如何帮助企业实现数字化能力的飞跃和提升。

近年来,在自主创新的时代背景下,数据库国产化替代正在加速演进,金融行业率先成为各行业国产化推进的先行者。在 WOT 全球技术创新大会《国产数据库在金融核心系统应用实践》专场,腾讯云多位技术专家围绕国产化数据库替代难点、国产化数据库迁移思路和方法等方向进行经验分享。

打造新一代国产化精品,TDSQL 助力政企夯实数字基座

腾讯云数据库产品总监陈琢

如今是国产软件最好的时代,国家在大力推进国产化替代,从硬件到操作系统、数据库、中间件,全链路的国产化需求旺盛,政企陆续进行核心系统替换和分布式改造。

腾讯云数据库产品总监陈琢腾讯云数据库产品总监陈琢

核心分布式数据库改造主流技术方案分为两种,一种方案是应用进行单元化改造。业务应用根据一定规则拆分成若干单元,并且在同一个单元内,计算和存储采用同一个资源。这种改造方式的优点是易于扩容和变更,控制粒度更细,可以降低故障影响面,缺点是资源消耗高,运维自动化要求也高。第二种方案是分布式+微服务改造的路径。按照业务主体来拆分业务,微服务之间通过框架实现跨服务之间分布式事务的处理。优点是通过模块化解决方案,服务级扩容,实现分布式事务处理,应用更加简单,但改造应用从而适配分布式数据库,在极端情况下故障影响面大。

陈琢表示,微众银行和某国有大行的核心交易系统采用单元化的方案,而城商行和农商行选择分布式+微服务的方式较多,也有部分银行采用分布式+微服务和单元化两种改造混用的方式。不同需求场景下,腾讯云国产数据库TDSQL均可提供具有竞争力的产品和迁移方案,帮助行业用户迁移传统国外厂商的核心数据库系统。

陈琢重点介绍了TDSQL 新版本的特性。通过引入列存计算引擎,复杂查询性能力提升 100+ 倍,打造极致的 HTAP 能力;在备份回档基础方面,TDSQL 提供更丰富更快速的数据恢复能力,包括主动闪回和回收站,防止实际生产过程中出现问题。此外,TDSQL 还支持双轨运行方案,在国产化资源池构建实例,在原有 x86 资源池构建另一套实例,两个实例之间的数据是强同步,RPO 为 0,通过一云多芯,支持通用 x86 与国产资源混部。TDSQL以内核兼容为基础持续增强Oracle 兼容能力,打造驱动、工具、内核三个层面的兼容。

目前,TDSQL 解决方案应用落在在国内最大规模的政务云项目中,由 TDSQL 数据库承载原有业务,规模上支持总局、31 个省、5 个计划单列市(深圳、厦门、大连、青岛、宁波)的37套架构,并且数据同步链路规模最大、最复杂。

此外,腾讯云还在积极建立 TDSQL 上下游生态圈,从基础环境、业务系统、集成生态三个方面进行全面适配,在集成方面,腾讯云通过与认证服务商合作,共同打造 TDSQL 服务生态环境,让利给合作伙伴;在行业方面,腾讯云联合头部合作厂商,进行商机共享、优势互补。


TDSQL 助力金融业核心系统创新应用实践

腾讯云数据库高级工程师于沛涛

过去,金融行业核心系统对国外厂商依赖程度超过 90%,技术架构与硬件耦合性强。随着国产化替代的推进,金融行业核心系统软硬件均可实现 100% 国产化,开源软件与自主研发结合的方式,更加自主可控。国产化数据库+微服务架构的技术组合,赢得了诸多金融企业的青睐。

腾讯云数据库高级工程师于沛涛腾讯云数据库高级工程师于沛涛

于沛涛表示,国产化数据库有三大优势。首先,国产化分布式消除了资源天花板瓶颈,由于横向扩展对硬件的依赖是松耦合的,因此,普通的 x86 服务器就可以满足业务的增长,并且可以实现降本增效。第二,数字化转型催生大量业务创新,企业可以通过国产化数据库的弹性可扩展来响应业务创新的需求;第三,在国家监管要求下,金融机构可以实现自主可控,推进金融业关键信息基础设施国产化进程。

然而,金融行业国产化数据在稳定性、兼容性、可用性、安全性、易用性等方面要求非常高,才能保障金融业务的政策运行。因此,腾讯云提供了企业级分布式数据库 TDSQL。

TDSQL 架构由平台管理、计算节点组和存储节点组组成。管理平台称之为赤兔平台,包括多个内部管理组件,通过全图形化的操作方式,用于数据库的管理和运维。计算节点组主要由 SQL 引擎组成,响应前端 SQL 请求;存储节点组也称为数据节点,可以根据业务情况来创建分布式数据库和集中式数据库。据了解,TDSQL 具有双内核引擎,MySQL 引擎完全兼容 MySQL 协议,面向高性能、大并发、大容量的 OLTP 场景;PostgreSQL 引擎特定场景下可Oracle兼容度高达 98% ,具有 AP 能力,面向海量数据复杂的 HTAP 场景。

于沛涛介绍,TDSQL 有四大优势,包括稳定性、易用性、兼容性和高可用性。由于 TDSQL兼容 Oracle/MySQL 接口,开发人员可以按照自己的开发习惯进行处理,避免被绑定,同时,云上云下同源,保证输出的稳定性。在易用性方面,开发人员更容易上手,运维人员通过图形化监控运维平台操作,降低上手难度。在兼容性方面,企业可以根据自身业务场景、应用数量,灵活地选择小型业务集中式实例;对于大型关键业务,可以从原有集中式切换到分布式架构,以便获得更好的扩展性。在高可用方面,TDSQL 针对金融行业进行了深度适配,确保多副本架构下数据强一致,避免故障后导致结群数据错乱和丢失;基于TXSQL 内核的强一致复制功能,可以实现同城双中心 RPO=0 的容灾能力,确保 99.999% 以上可用性,同城自动切换 RTO<40 秒。

金融企业对于TDSQL 的建设通常有两种情况,一种是基于某个项目或某个业务进行建设;另一种是 TDSQL 深度使用用户,在全业务级别进行数据库规划。于沛涛建议,企业在进行数据库整体规划时,最重要的是选定硬件基线,包括服务器、网络、操作系统等。在硬件配置完成后,建议企业对网络规划进行相应的网络分区,并且要考虑多网络平面。接下来,就要进行TDSQL 数据库实例规格与性能基线的选定,对于全业务规划时建议采用统一规格配置,便于管理。此外,业务级别与容灾架构也是相关联的,对于核心业务,于沛涛建议采用两地三中心结构,并且业务独占集群。

某商业银行信用卡核心系统,采用了 DSY 单元化架构模式,每一个单元是完全独立的逻辑单元。通过采用两地三中心模式,某一个中心的单元出现了故障后,另一个中心的单元可以继续访问数据库,保障业务连续性。在采用 TDSQL 数据库后,信用卡新核心系统设计支持3 万/秒交易并发,支持 30 亿交易账户,同时支持小时级批量处理时效。相比老系统,新系统支持横向扩展,处理能力提升了 10 倍。并且,新系统 IT 成本仅为老系统的 1/3,真正意义上实现了银行IT架构的革新。

腾讯云数据库一站式迁移解决方案

腾讯云数据库高级产品经理程学飞

商业数据库成本高,并且集中式架构限制了线性扩展能力,加之安全自主可控以及国产化替代等原因,企业需要进行异构数据库迁移。

数据库迁移难点主要集中在四个方面。首先是迁移成本高、工作量大,人工操作数据库迁移风险较高,迁移周期长,耗费的人力成本较高。第二,数据库迁移技术复杂。数据库迁移对操作人员的技术水平要求较高,不仅需要掌握源数据库的技术还有懂得目的数据库的技术,并了解数据库之间迁移技术。第三,异构数据库的兼容程度不好评估。源库迁移到目的数据库的对象兼容程度如何,应用 SQL 兼容程度如何,迁移改造的风险和难度如何量化评估。第四,迁移过程无标准化流程。整个迁移过程可复用程度低,没有一个标准化的最佳实践方案。

腾讯云数据库高级产品经理程学飞腾讯云数据库高级产品经理程学飞

针对数据库迁移的四大痛点,腾讯云也提出了对应的解决之道。程学飞介绍道,针对迁移成本高、工作量大,腾讯云提供简单易用的数据库迁移平台 DTS-DBbridge;针对数据迁移技术复杂问题,腾讯联合生态多年数据库运维和研发经验工程师的技术积累。针对异构数据库的兼容程度不好评估问题,企业可以通过 DBbridge 自动化的评估和改造工具,平台化的数据库对象和应用评估功能,全面完整的迁移评估报告。针对迁移过程无标准化流程问题,腾讯云提供标准化异构数据库迁移流程,从评估、改造、迁移、校验等标准化和经检验的迁移流程。

腾讯云数据库 DTS-DBbridge 软件支持 Oracle、MySQL、MariaDB、PostgreSQL、SQLServer、DB2 等多种关系型数据库数据库迁移,可以帮助用户在业务不停服的前提下轻松完成数据库迁移上云,利用实时同步通道轻松构建高可用的数据库容灾架构,也可以通过实时数据传输为下游数据分析、应用测试、数据中台等业务提供强有力支撑。

在迁移评估方面,DTS-DBbridge 可以对表索引最基础的对象进行评估,并且出具相应的评估报告,指出对象是否在腾讯云数据库中兼容,对于不兼容的对象提出建议。在应用评估方面,针对客户现有的函数体,存储过程、触发器等方面,DTS-DBbridge 会对其中的语法进行评估,腾讯技术工程师回有针对性地进行改造。在数据的迁移和同步方面,DTS-DBbridge 不仅能够实现客户现有的全量数据迁移,也可以实现数据增加的同步和订阅。在数据比对方面,无论是数据迁移还是数据同步,如何保证数据的一致性,可以借助数据比对工具,通过页面配置后的简单操作就可以完成。

据了解,DTS-DBbridge 是四层的分层架构。最底层是IaaS层,不仅可以部署在物理机,还可以部署在虚拟机和容器上。在插件层,腾讯云将每一个数据库类型都形成一个功能插件,用户可以直接在 DTS-DBbridge 平台调用,包括迁移评估、数据抽取、数据装在和数据校验等能力。在平台层,DTS-DBbridge 提供任务定义管理、任务管理、任务调度、任务高可用、配置中心等功能。在业务层,DTS-DBbridge 提供数据源管理、迁移规则管理、迁移通道管理、迁移评估和数据校验等能力。

此外,腾讯云还总结多年迁移经验,形成了整体迁移的最佳实践,通过标准化迁移流程,结合迁移专家经验,可以成功将相关数据库迁移到腾讯云数据库。首先,腾讯云会对客户进行评估,对现有业务系统进行摸排,并根据摸排状况进行迁移评估;评估后会出具评估报告,提供相应的改造建议,而后腾讯云专家会提出方案的设计;方案设计完成后,要提供边缘化的测试系统,进行可行性验证,确认方案是否可行;方案确认可行后,就可以配合业务厂商和数据厂商进行相应的改造;改造完成后,再进行具体的业务测试,以及割接演练和业务验证;确认没问题后就可以进行正式割接,并提供持续护航保障。

某股份制银行原有数据库采用 Oracle,但 Oracle 备库是可读不可写,通过 DTS-DBbridge,将 Oracle 备库数据同步到 TDSQL。在业务割接上线前,通过全量多通道迁移+正向多通道增量数据持续同步,保障业务不停可以随时割接至目标 TDSQL;在业务割接上线后,关闭正向单通道增量同步,开启反向向增量同步,保障业务可随时回切到源 Oracle 库,保障数据安全性。

结语

如今,金融业务创新快速发展,推动着新技术正以前所未有的速度和力度发生深层次变革。这些技术发展,对金融服务模式带来重大影响,使得金融行业向数字化、分布式转型成为必然趋势,金融业务创新与科技创新正在相互促进,重塑金融行业系统能力。

腾讯云数据库也会不断进行技术创新,总结数据库迁移最佳实践经验,赋能金融行业核心业务系统替换,为金融业务国产化建设持续保驾护航!

责任编辑:鸢玮 来源: 51CTO
相关推荐

2024-01-09 13:55:04

数据库分析性数据库

2023-06-13 23:17:53

腾讯云数据库金融行业

2013-04-23 15:11:42

数据库技术大会大数据全球技术峰会

2021-12-09 13:48:49

腾讯云TDSQL数据库

2015-09-09 15:16:19

混合云云迁移

2015-04-15 13:30:04

宝德

2021-08-06 06:56:28

开源Serverless无服务器计算

2015-09-16 10:13:04

初志科技云存储

2020-11-16 18:09:41

腾讯云数据库BNC

2018-03-10 10:00:00

AI

2015-11-16 13:38:19

2014-12-03 10:25:54

2019-11-08 14:37:21

华为

2013-07-10 13:33:29

2022-08-03 09:29:39

数据迁移
点赞
收藏

51CTO技术栈公众号