【51CTO独家特稿】在2012 IBM软件技术峰会上,51CTO记者有幸对IBM硅谷实验室大数据项目总监Steven Sit进行了专访。就大数据在自然灾害预防,IBM未来在大数据技术方面的远景,数据分析师人才培养方面进行了充分的交流。
左为IBM硅谷实验室大数据项目总监Steven Sit先生(51CTO摄)
北京的一场大雨让人们看到了自然灾害的巨大破坏力,灾害之后我们应该反思如何提升预防能力。如同Steven给我们分享的那样,IBM大数据项目已经开始在地震预报方面有了进展。可以将更多的数据进行整合,这种平时记录大量“平安”信息,关键时刻记录灾害信息的模式,IBM称之为动态大数据。透过大数据分析技术,我们可以对未来的情况进行预测和疏导。这对灾害发生后的快速反应,应急疏散减少损失有巨大的帮助。
大数据的软硬件一体化方案已经越来越多,这样的方案对于企业来说可以节约相当大的一部分精力。谈到IBM在大数据软硬件一体化方面,Steven表示IBM未来将会有相关的项目研究。
在Steven上午的演讲中,提到了大数据平台主要功能,即
***,大数据平台必须有海量分析的能力。在这方面我们是很认同Hadoop System,Hadoop和它的EcoSystem。
第二,大数据很多时候会产生流量的数据,所以我们需要一个流计算的平台或者引进。
第三,针对传统性很密集,而且是结构性的数据,我们需要一个大型的、并行的数据资料库,这也是我们最近收入了Netezza的一些功能。
第四,刚才说到80%的数据是非结构性或半结构性的,在这些文本的分析功能方面,我们需要有索引的功能。
在***层,我们当然需要一些信息整合和信息管理,来加强平台的安全性、整融性。而在这些引进的上层,我们加了一些针对不同应用的加速器,而在最上面我们有一些不同的工具,针对与我刚才所说的数据科学家、开发人员、管理人员的不同开发工具。针对不同行业的加速器,我们将在今年年底和明年推出一系列针对不同行业,像电信、财务、公共交通、零售业、媒体业的一些加速器。
更多内容,请参阅本次专访视频。