2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会。
李松林 京东商城商业智能和搜索部架构师
京东如今拥有整个电子商务完整的产业链,京东面临的大数据问题是:
1. 数据的来源更加丰富;
2. 数据间的关联性更加复杂;
3. 数据的价值——包括时效性和新商业模式。
Hadoop大数据的处理更加容易,这体现在ETL/企业数据仓库;数据挖掘/建模;搜索和推荐;日志存储等等。实际上,MapReduce批处理存在着缺陷,延迟较长,无法满足用户的实时需求,调度开销较大。
大数据包括三部分:
大数据实时处理需要思考的问题是:模型——海量数据、多个数据源整合、预定义好的数据模型、数据任务依赖关系简单、推和拉的问题;性能——高并发需求、大容量需求、高速度需求、批处理预算、硬件支持、容错、水平扩展;服务——关联获取价值,纬度按需定制、互联分析,报表等完成价值交付等。
大数据实时处理架构
大数据实时分析
大数据实时处理技术的优势在于:服务和应用;价值展现——分析可视化,数据可视化,数据反哺,计算即服务;仔细思考其价值。
大数据应用的问题主要来自于对系统的压力,如何解决呢?前端和后端的解耦、压缩、排队、后端更强劲这三方面重点。
结尾:以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。