一、中信ODS平台介绍
中信银行总行ODS平台主要是对中信银行的核心业务系统和一部分特色数据的海量数据进行存储、处理和挖掘应用。首先在数据库服务器上对业务数据进行标准化处理,并存放在数据库服务器群集上,进行ETL 数据加工处理,并作为批量数据分发,对目标系统(如零售银行数据集市)提供数数据。
中信银行各分行为提高数据处理效率,直接将总行ODS 加工好的基础数据和部分总行统一加工的汇总数据返还给分行,分行利用文件服务器接收到总行数据后,转载到分行ODS 数据库。经过ETL 加工后的分行数据或数据集市将为分行信息消费者提供如报表、MIS 管理等应用服务,为给分行提供更好的信息服务。
二、中信ODS系统数据迁移介绍
中信ODS平台建设时间较早,数据库和GPFS文件系统存储设备使用了2台IBM的DS8300和4台V7000,16年都面临维***期需要下线,需要将90T左右数据迁移到新采购的华为OceanStor 6800 V3存储。
ODS平台数据迁移特点:
1、环境复杂:
(1) 主机类型及操作系统版本较多、较老、例如GPFS系统主机19台分别为AIX(版本5.3,6.1)、LINUX(版本4.7,5.5)。
(2) 主机多路径版本涉及multipath、MPIO、SDDPCM等多个版本。
(3) 迁移环境FC交换机的带宽较低4Gb带宽。
2、迁移挑战:
(1) 迁移时间窗口短,涉及主机多:在GPSF文件系统迁移涉及11台LINUX系统、8台AIX系统,需要同时重启验证更新多路径接管新存储。
(2) 迁移数据量大:ODS数据库系统迁移数据量40T需要在周六、周日两天迁移完成,同时预留晚上23点到凌晨2点跑批时间,还要预留回退时间,总共迁移实施不到30小时时间窗口。GPFS文件系统数据量37T也只有在周六、周日2天迁移窗口。
3、迁移的实施过程
按标准化流程实施:
1.现网环境评估调研
进行现网环境的信息采集和梳理,中信数据迁移项目主要包括近40台的主机信息采集,4台FC交换机信息收集。同时要梳理交换机的端口规划信息和组网拓扑。
2.方案的规划设计
结合ODS业务特点,分批分期进行数据的迁移工作,针对不同系统输出针对性的迁移方案,例如:AIX主机+DB2数据库、AIX+LINUX的GPFS文件系统;方案中不仅要包含详细实施步骤,还要包含完善的回退步骤,迁移过程中回退,迁移完成运行一段时间后的回退步骤等。方案在华为内部提交ITMO进行专家组评审,并同客户多次组织相关厂商和行内专家评审。
3.实验和模拟
ODS 数据库的迁移采用了LVM传统的文件系统迁移,方案成熟,主要考虑的是迁移数据量和时间窗口;GPFS系统迁移案例较少,给出基于存储和主机侧的2种方案,进行数据量和迁移时间评估可行性,并在实验室搭建测试环境,实验环境主要完成方案验证,迁移实施过程中问题的复现,直到迁移完成实验环境才能够拆除。
4.现场交付
组织一线、地区部多名专家现场实施,研发专家后端保障,由于GPFS文件系统的迁移涉及到19台不同操作系统及版本的多路径安装及替换,需要同步进行,操作同时还需要进行复核;现场申请了华为4人和客户3人同时操作。
5.全称监控
通过微信群工具,将迁移进展和迁移中问题及时同步到二线及三线专家,迁移过程中进行指导和遇到问题及时解决,保证迁移动作的准确性。
6.值守和验收
迁移完成后需要在新环境稳定运行1个月左右在拆离原有存储,这期间需要收集性能数据,观察业务运行是否平稳,如出现新设备性能不满足,需要时可进行回退操作。确认整个迁移过程完成业务运行正常后进行验收和文档传递。
三、中信数据迁移带来的价值
1、通过完善的数据迁移流程和专家保障,使客户对老旧系统的数据迁移方案经过验证更加放心,现场实施过程中遇到问题能够快速调动不同专业的专家支持,使客户对华为数据迁移能力更加认可,更加安心。
2、华为存储的异构虚拟化迁移技术得到客户认可,客户认为采用存储异构虚拟化迁移,大大减少了操作系统侧的操作,老旧系统的迁移对客户自己来说也是难度很大的工作;并且迁移对业务影响时间短,同时回退方便,降低了整个数据迁移的复杂性。
全文结束--