数字技术驱动证券行业发展成为行业内广泛共识,在经济业务、财富管理、系统运维、风险管理等领域,数字技术的应用场景在不断拓宽,移动互联、人工智能、区块链、云计算等技术的交叉融合应用也逐渐成为证券行业提高运营效率、增强盈利能力的有力抓手。
目前国内多数证券公司可通过数字技术提供远程开户、在线交易、智能客服等基础服务,但与国外领先机构相比,数字技术的应用水平仍存在较大差距,数据治理能力薄弱,数据价值无法得到充分挖掘和发挥的现象较为普遍。证券行业仍需积极推进数字化转型,探索行业成功的“新业态、新模式”。
互联网行情系统作为海通证券的关键业务系统之一,支持沪、深、北、港美股、国内外期货、全球指数等国内外31个市场level-1、level-2行情数据的服务,为10万多只证券,500多个板块,400多个概念,提供7*24小时行情数据服务,系统累积历史数据超过25T,日增数据在20G左右。
【互联网行情系统业务示意图】
该系统的行情数据更新快慢以及数据的准确性在很大程度上会影响客户的交易决策,传统的ICT架构无法支持平台表现出更强的创造性和竞争力。海通证券对承载该业务的底层基础设施提出了更高的要求:
高吞吐量
行情系统具有明显的潮汐特征,每天特定开盘时间段以及牛市期间突发业务量的激增,并发访问量会高于收盘期间几十倍,最大系统QPS为200万/秒,最大推送量高达1400万笔/秒,同时要求数据准确度达到小数点后4位;
低时延
高频的行情发布周期决定了对行情系统必须满足低时延的要求,全链路行情数据更新需要在毫秒级完成;
高可靠
证券业务的稳定可靠运行,是行业监管的基本要求,任何1笔数据的丢失会影响最终计算结果,也可能造成客户损失等问题。
鲲鹏平台天生的多核高并发、海量吞吐等能力,能够很好的满足上述需求,且低功耗能够节约更多成本;
鲲鹏还提供完善的鲲鹏DevKit开发套件以及专业服务,能够帮助用户快速完成应用的迁移、开发、编译和调优,助力行业应用的高效创新。
基于以上考虑,海通证券与鲲鹏达成了合作意愿,在鲲鹏上原生开发「互联网行情系统」,通过该方案实现全球31个市场的行情接入、转码、分发等主要功能和相关衍生指标的计算。
【互联网行情系统业务架构图】
基于动态二进制翻译工具ExaGear实现互联网行情系统的快速迁移
在该项目适配鲲鹏的开始阶段,开发人员需要将整个互联网行情系统迁移到鲲鹏平台上。由于该系统的关键组件之一行情转码模块,涉及大量代码且作为无法找到源码,给迁移工作带来不少挑战:行情转码模块接入了境内外30多个市场的行情数据,很多市场是通过第三方API接入的,但多数第三方既无ARM版本API也暂无支撑改造计划,项目组无法掌握对应的源码,导致迁移工作几乎无法进行。
鲲鹏DevKit针对无源码迁移场景提供了动态二进制翻译工具ExaGear,能够在软件执行过程中将x86指令直接翻译为鲲鹏可识别的指令,使得绝大部分x86应用无需重新编译和修改即可在鲲鹏上运行。最终开发人员屏蔽了底层平台的差异,高效完成了整个互联网行情系统的快速迁移,且性能损耗控制在了10%以内。
【动态二进制翻译工具ExaGear迁移示意图】
通过毕昇编译器和性能分析工具助力互联网行情系统新版本高效开发,性能最高提升26%
迁移完成之后,为持续满足行情系统的安全稳定、运维高效可控以及迭代灵活等要求,海通证券计划在鲲鹏平台上进行该系统新版本的开发迭代。
在开发过程中,为提升编译效率,将平台之前使用的开源GCC升级为毕昇编译器。针对计算密集型、海量数据处理的应用场景,毕昇编译器基于LLVM针对鲲鹏平台进行了深度优化,通过使能循环优化,自动向量化,内存布局优化等高性能编译算法,大幅提升指令和数据吞吐量,最大限度地释放鲲鹏平台的强劲算力。
此外,由于分析行情转发和行情主站两大模块需要对基础行情、分时 K 线成交涨跌排行等数据进行实时分析,对性能要求比较高。因此,在新版本开发完成之后,技术人员还使用了鲲鹏DevKit性能分析工具对这两个模块进行了性能优化:
基于系统分析功能进行热点函数分析,识别到分析行情转发有一定的数据延迟,在工具的建议下,替换了鲲鹏平台的汇编指令(如ldaxr、stlxr等),优化之后采用2倍深圳流行情数据进行回放测试,5小时业务压测下内部延迟缩短了26.42%。
【通过鲲鹏DevKit优化后的行情转发的性能对比】
基于系统性能分析工具进行进/线程分析,识别到行情主站出现响应延迟,通过锁优化降低锁的粒度、将互斥锁修改为自旋锁以提高数据处理能力。在相同的配置环境下,25k连接时客户端响应延迟缩短12.25%。
【通过鲲鹏DevKit优化后的行情主站请求处理的性能对比】
通过上述一系列的性能调优,分析行情转发的数据处理能力和行情主站并发能力都得到了大幅提升,实现了行情资讯信息的快速转码和分发,为用户提供更及时、优质的行情资讯服务体验。
目前海通证券「互联网行情系统」版本已在华为云等平台上线6个站点,当前总体用户数超4200万,月平均活跃数近550万。该方案也获得了行业信息技术应用创新基地行业共研课题的最具前瞻价值奖并入选IDC中国金融新基建案例,同时也在鲲鹏应用创新大赛2021上海赛区金融赛道获得了金奖荣誉。这不仅验证了该方案的高性能、高兼容性、完整性和成熟度等技术优势,也是了行业渠道交易云化转型的重要一步。
作为鲲鹏计算产业生态的重要伙伴,海通证券已与华为建立了战略合作伙伴关系。未来,海通证券还将联合鲲鹏,加速推进信息化建设,不断深化在客户服务、运营管理、风险合规和财务管理等业务领域的数据应用,全面赋能公司业务创新发展,也为行业金融科技创新贡献更具竞争力的行业解决方案。
海通证券股份有限公司
海通证券股份有限公司(以下简称海通证券)成立于1988年,是国内成立最早、综合实力最强的证券公司之一,经纪、投行和资产管理等传统业务位居行业前茅,融资融券、股指期货和PE投资等创新业务领先行业。作为行业金融科技先行者和探索者,海通证券践行“数字化转型”战略,积极融入国家高质量发展和上海国际金融中心建设大局,准确识变、科学应变、主动求变。