日前,在河北省计算机学会举办的“自主可控的网络与信息安全研讨会”上,国内知名数据库厂商达梦数据库有限公受邀参会,达梦公司董事长冯玉才在会上提出了达梦数据库在大数据时代下的五大挑战与对策。冯玉才表示,目前大数据面临数据量巨大,传统的IT架构已无法适应、数据类型复杂、信息安全等多项挑战,如何解决大数据存储、性能瓶颈等问题,已成为摆在数据库厂商面前一道严峻的考验,而达梦数据库率先提出的大数据完整解决方案则可对上述问题进行有效智能的架构分析。
挑战一:数据量巨大,传统的IT架构已经无法适应
据悉,目前互联网企业数据量达到了1000PB;在能源行业,仅中国国家电网智能电表数据就达数十PB;在医疗行业,一个大型城市的居民健康档案一年可达5PB;气象领域,气象卫星及天气雷达,每日可形成TB级观测数据。据统计,2013年中国产生的数据总量超过了0.8ZB,是2012年的两倍。我们已经进入了信息爆炸的时代,数据量呈几何级增长,各行业已经进入大数据时代。
数据量的巨大,直接导致了传统的存储设备难以适应,需要购置新的存储设备,成本居高不下;由于数据量巨大也带来了检索、装载、备份等性能上的问题,传统的IT架构已经无法满足时代需求。
挑战二:数据类型复杂,如何实现数据价值***化成难题
GPS数据、WEB文本、交易数据、呼叫数据、传感器数据、海量音频视频……当前结构化数据只占5%,半结构化数据占10%,非结构化数据占85%,这些纷繁复杂的数据类型使得数据整合、管理、分析,实现数据价值***化成为一大难题。
挑战三:信息孤岛,异构系统数据难以共享
数据共享的过程中,由于数据库系统之间存在硬件平台、操作系统、网络协议、数据库类型、语义表示等多方面的差异,形成了一个个的“信息孤岛”,严重阻碍了数据的共享和流通。如何实现异构数据库间的数据整合与共享成为亟待解决的问题。
挑战四:传统也许模式受到挑战
随着传统行业逐步进入大数据时代,电商化、社交化、智能化,数据挖掘需求日益突出,OLTP与OLAP业务交互发生,如何应对OLTP与OLAP混合型负载?
挑战五:信息安全问题
冯玉才认为,信息安全是云计算资源共享的***挑战。云计算数据的处理和存储都在云平台上进行,计算资源的拥有者与使用者相分离已成为云计算模式的固有特点,由此而产生的用户对自己数据的安全存储和隐私性的担忧是不可避免的。
达梦大数据解决对策
冯玉才强调在大数据和云计算时代更应坚持自主创新,只有这样才能抓住大数据和云计算带来的机遇,打造能够与国际数据库巨头相匹敌的,满足时代需求和用户需要的可用、好用、可信、可靠的新一代数据库产品。达梦公司针对分析领域TB/PB级海量数据、多核、高并发等特征需求,专门推出了达梦大数据高性能分析组件(DMHPA)。DMHPA的设计融入了列存储、智能索引、数据压缩、MPP分布式存储、MPP并行查询、并行装载等专为海量数据分析的***技术。这些技术分别从IO效率、CPU 缓存效率、表达式计算及高性能并行计算等方面提升系统性能,为用户在通用硬件上构建海量数据分析平台提供了一个高性能、低成本的解决方案。用户可以根据需求,在达梦数据库管理系统DM7上面安装该组件,使DM7成为稳定、高效的大数据高性能分析数据库。
DM7是达梦公司原始创新、自主研发的具有完全自主知识产权的高安全数据库管理系统,已经通过公安部安全四级评测,是国内唯一获得“信息技术产品自主原创测评证书”的数据库安全产品,也是目前国内安全等级***的商业数据库之一。
目前,达梦公司的产品已成功应用于公安、电力、铁路、航空、审计、通信、金融、海关、国土资源等20多个行业领域,并连续5年国产数据库市场占有率***。达梦公司市场触角已经延伸到国际市场,2013年基于DM7的事务型和分析型海外项目陆续在泰国和印尼成功上线并稳定运行,达梦数据库也成为中国数据库自主品牌挺进国际市场的标杆。