2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会。
在26日下午的NoSQL&NewSQL专场论坛中,SAP高级系统架构师徐正君发表了主题为“实时流式数据处理及应用”的演讲。徐正君解析了流计算的定义,并分析了案例。
SAP高级系统架构师徐正君
他谈到,现在企业内部存在各种各样的数据,库存数据、销售数据、交易数据、客户数据、移动端数据等,这让业务人员想要高效管理大量数据,得到正确而完整的信息,以及面对问题实时获取答案都非常困难,传统的数据库很难解决数据量和速度的问题,而流计算或许是解决问题的方式。
传统的数据库,将所有数据存储起来,计算时用SQL语句查询,流计算则是让数据流动起来,数据从内存中流过,截取需要的数据。由此得出数据流所具备的特征:数据连续不断;数据来源众多,格式复杂;数据量大,但是不十分关注存储;注重数据的整体价值,不要过分关注个别数据;数据流顺序颠倒,或者不完整。而对应的处理工具则需具备高性能、实时性、分布式、易用性。
企业是否选择流计算需要自问是否对数据的实时性有迫切需求,是否更关注对当前数据的分析与响应,是否适用于高吞吐量、低延迟事件流处理的场景。接着徐正君还介绍了常用的开源流计算产品(Puma、Storm、S4(Simple Scalable Streaming System))、商业流计算产品、流计算的产品架构、ESP与DataBase的结合等。
最后他以比利时电信和算法交易为实例,说明流计算的相关应用方式。
以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。