2014年7月25日-26日,由51CTO传媒主办的2014 WOT全球软件技术峰会在北京富力万丽酒店召开。秉承专注技术、服务技术人员的理念,自2012年以来,WOT品牌峰会成功举办了三届,积累了大量的技术专家资源,获得了广大IT从业者和技术爱好者的一致认可,成为了业界重要的技术分享交流平台以及人脉拓展平台。
本次会议分为8个技术主题,分别是:数据库技术与应用,互联网架构分析,高效的技术团队,敏捷开发,实时计算与数据分析,移动应用,自动化运维,开源技术。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴。
作为实时计算与数据分析专场“干货分享”的讲师, Databricks工程师连城先生为我们带来了主题为《Spark SQL:一体化大数据流水线的重要拼图》的主题演讲。分享了Spark技术在大数据分析中的应用现状及展望。
连城老师目前专注于以Spark为主的大数据分析系统,Spark SQL为Spark提供了原生的SQL关系查询能力,并进一步增强了Spark操纵结构化数据的能力。演讲伊始,连城率先分享了当今大数据的问题以及数据分析流程,通常的做法是在hadoop之上刻画框架。因此所有流程是基于HDFS,所得到的是有效的数据处理结果占比全部数据处理的比例并不高。
基于Spark的统一的大数据分析组件
弹性分布式数据集可以有效地解决这一问题,Spark开源实现高速、兼容性、接口易用、程序精简等优势。
以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。