在信息化时代,数据深刻影响着银行的未来发展,谁拥有数据谁就获得了话语权。数据的价值来源于对海量的客户交易数据、客户行为数据等的深层挖掘和分析,以便做到精准定位和营销,进而根据不同的客户和市场需求设计不同的金融产品,提升银行的盈利能力。这种基于大数据的金融业务创新,目前已经成为各商业银行的竞争焦点之一。
中国农业银行作为中国四大国有银行之一,据不完全统计,目前其各应用系统每年产生的结构化数据已经突破100TB,而非结构化数据更是突破1PB(1024TB)大关。这也促使农行在大数据实践方面积极走在行业前列。
数据飞速增长 IT架构挑战严峻
过去,农业银行业务系统运行平台多是小型机,而小型机单机扩展能力有限,原有的架构越来越难以支撑飞速增长的业务应用的计算资源需求。
厂商来源单一也导致小型机的采购和维护费用高昂。 特别是Unix小型机软件封闭,操作系统、虚拟化、数据库等软件采购费用相比x86架构高出数十倍,性价比较低。
于是,近年来在互联网行业广泛应用并持续创造价值的Hadoop大数据方案,引起了中国农业银行的关注。Hadoop框架的一个显著特点是,将以往需要高性能小型机才能完成的计算任务,分解为由多台x86服务器(甚至PC机)组成的计算集群来完成。
2012年7月,农行正式引入业内广受关注的Hadoop大数据方案。该方案首先被应用于支撑对历史交易数据进行查询与分析,通过采用业界流行的Hadoop分布式计算框架,处理海量结构化和非结构化数据。
经过认真的评估与论证,农行的IT技术团队认为,由x86服务器组成的计算集群,在计算性能上可以满足Hadoop大数据方案的要求,但在经济性方面比小型机更具有优势。
联合华为试点分布式计算架构 顺应U2L大势
为验证这种可行性,2012年下半年,农行的IT技术团队与华为的服务器研发团队成立了联合工作组。根据双方达成的合作协议,华为将提供x86服务器组成计算集群,由农行在华为的计算平台上运行Hadoop的相关软件,并进行相关的业务测试。农行与华为均希望通过试点“x86服务器”的分布式并行计算架构,来共同应对金融大数据业务带来的挑战。
首先,农行希望x86服务器在计算性能上应具备“秒级响应”的能力。目前,农行在中国境内的分支机构超过2.34万,服务的客户超过4.2亿,各营业网点、自助终端设备、网上银行等对数据中心的访问属于高并发访问。对于历史交易数据的查询与分析业务,为确保客户的满意度与银行的工作效率,农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完成响应。
“这就意味着,在1秒钟之内,大数据处理平台要从120TB的5年历史交易数据中,也就是大约650亿条的历史交易记录中,将查询结果反馈给用户。”农行的专家这样跟华为说。
其次,农行希望x86服务器具备良好的经济性。在应用x86服务器之前,农行多采用小型机来承载历史交易数据的查询与分析业务。为满足业务要求,小型机首先需要存放至少5年120TB的历史数据,同时每天新增的交易记录在4000万条以上,需要约100G的存储空间。但小型机相对封闭的硬件架构设计,使得其可扩展性受到很大的限制,导致每次扩容成本都很高昂。此外,小型机非通用的架构设计,也给农行带来了不菲的维保费用。
“我们之所以选择x86服务器,一方面,是因为近年来x86服务器的技术性能得到了大幅提升;另一方面,采用通用架构的x86服务器,其在采购成本、扩容成本及维护成本方面,相对于小型机的优势也是很明显的。”农行专家指出。
x86服务器,金融大数据 的选择
华为在深入分析了农行对大数据处理平台的需求后,向农行提供了基于华为RH2288 V2服务器的分布式并行计算集群进行测试。测试结果表明,华为解决方案完全满足农行对海量数据进行分布式处理的要求。
x86服务器的分布式架构使得服务器节点可以灵活扩展,按需配置,支持飞速增长的业务和数据量,从而满足当前与未来业务的发展需要,充分保护农行的初期和远期投资。
x86服务器不仅在计算性能上可以满足Hadoop大数据方案的要求,而且成本上比小型机更具有吸引力。相比小型机方案,采用华为RH2288 V2可以节约40%的运维成本,节约总体拥有成本(TCO)20%以上。
此外,华为RH2288 V2服务器支持现场调整与优化,农行可以按照业务需求对服务器的配置进行现场调优,这使服务器的计算性能在Hadoop大数据环境下发挥到***。在测试中,农行85GB的原始数据加载(3份冗余)或者5000万定期账户批量处理,华为RH2288 V2服务器计算集群能在10分钟内完成。而对于2亿条交易详单、600并发随机查询的平均响应时间,华为解决方案的测试结果低于40ms,远远超出农行的预期。
2013年8月份,中国农业银行将在其正式生产环境的Hadoop大数据处理平台中,采用了200台华为RH2288 V2服务器进行部署。
此次试点表明, x86服务器已经完全可以承担金融行业关键业务,银行对小型机的技术依赖进一步降低。采用开放架构的x86服务器建设银行的IT系统(尤其是开放平台系统),已经成为金融行业信息化的发展趋势之一.