【51CTO专访报道】对于大数据的特点,业界通常会这样来概括:第一,数据必须是海量的。第二,数据类型多为非结构化数据,即除了文本之外的音频、视频、图片、地理位置信息等多类型的数据处理能力。第三,数据在短时间内要求快速处理,产生快速交互。
今年《纽约时报》曾撰文称在商业、经济和其他领域中,决策行为将日益基于数据分析做出,而不是像过去更多凭借经验和直觉,“大数据”正在影响越来越多的领域。一个最新的例子就是Facebook在5月18日的IPO,5月18日之前,几乎没有人敢说自己有把握预测Facebook上市当天股价的走势,但是Twitter却神奇般的做到了。
社交媒体监测平台DataSift监测了Facebook IPO当天Twitter上的情感倾向与Facebook股价波动的关联。例如,在Facebook开盘前Twitter上的情感逐渐转向负面,25分钟之后,Facebook的股价便开始下跌。而当Twitter上的情感转向正面时,Facebook股价在8分钟之后也开始了回弹。最终,当股市接近收盘时,Twitter上的情感转向负面,10分钟后Facebook的股价又开始下跌。最终的结论是:Twitter上每一次情感倾向的转向都会影响Facebook股价的波动,延迟情况只有几分钟到20多分钟。
微软亚太研发集团首席技术官孙博凯
这仅仅只是基于社交网络产生的大数据进行“预见未来”的众多案例之一,事实上“大数据”所能带来的巨大商业价值已经被人认为将引领一场足以匹敌20世纪计算机革命的巨大变革。在今年第二届大数据世界论坛上,微软亚太研发集团首席技术官孙博凯也展示了大数据应用的成功案例。
在成功案例中,孙博凯谈到了微软全面推出的大数据解决方案,包括基于Hadoop的Windows Server 2012和SQL Server 2012,Windows Azure基于大数据服务的应用商店等,因为Windows平台市场占有率的优势,它与Hadoop的结合也引起了用户广泛的关注。“微软已经提供Hadoop Connector for SQL Server Parallel Data Warehouse和Hadoop Connector for SQL Server社区技术预览版本的连接器”,孙博凯谈到:“连接器可以在Hadoop和微软数据库服务器之间向前或者向后迁移数据,让用户在Hadoop中分析非结构化数据,然后传回到SQL Server环境中进行分析。“
Hive ODBC驱动程序可以将Hive和BI工具直接连接,例如PowerPivot和Power View可以通过Hive附加程序使Excel与Hadoop进行数据交互。
基于Hadoop的Windows Azure服务可以让开发人员和用户直接在Azure云上提交及运行Hadoop。“微软希望提供简单的下载、安装及配置Hadoop相关技术的用户体验,包括HDFS、Hive以及Pig,帮助企业更平滑的使用Hadoop“,孙博凯谈到:”对于开发人员,微软也在Visual Studio开发平台上提供JavaScript,实现使用JavaScript编写高性能的MapReduce。“
孙博凯还特别兴奋的提到了Windows Azure Marketplace中的数据市场,它可以令应用程序的开发变得更加简单。“通过数据市场用户可以搜索,浏览,试用和购买开发应用程序所需要的全部数据。并且通过统一的借口,标准的格式提供数据应用。数据市场提供OData格式的数据,支持很多应用程序的访问,包括PowerPivot for Excel。“
对于任何企业来说,数据都是商业皇冠上最耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展,商业决策越来越依赖于数据。企业用以分析的数据越全面,分析的结果就越接近于真实。大数据带来了这样的洞察力,在身边的系统平台上更轻松应用大数据,也将更加具有生命力。