【51CTO.com原创稿件】2016年11月25-26日，由51CTO.com主办的WOT 2016大数据技术峰会在北京粤财JW万豪酒店隆重召开。自2012年以来，WOT品牌大会秉承“专注技术、服务技术人员”的理念已成功举办了十二届，不仅积累了大量的专家资源，更获得广大IT从业者和技术爱好者的认可和好评，已成为业界重要的技术分享及人脉拓展平台。
在本届WOT2016大数据技术峰会的“行业应用实践”主题专场，来自葫芦软件公司高级研发经理赵堃亮做了《葫芦软件的大数据营销实践》的精彩主题演讲。
赵堃亮，毕业于清华大学计算机系，6年互联网开发经验，现带领葫芦软件北京大数据团队负责Hulu大数据应用开发。
一个成功的公司不仅有一个完美的产品，一套成熟的系统，还要有着完善的团队意识。葫芦软件就是如此。葫芦北京团队作为技术领先的开发团队，不仅对业务和产品投入了很多的精力，对于营销、产品和广告的支持也都不能少，还在团队建设、人才发展上投入了不小的精力。
Segmentation系统
葫芦软件的大数据开发使用了业内主流的开源技术，底层架构里同绝大多数公司一样选择使用了Hadoop集群，批处理更多使用选用Spark，流式计算选用Spark Streaming。同时葫芦软件针对Segmentation系统开发了自己的查询引擎Nesto。葫芦在大数据方面投入了很多精力，对开源社区有不少贡献，为了更好的适应葫芦大数据应用场景，葫芦软件针对Spark做了很多二次开发与优化，提高了计算效率。Segmentation系统是葫芦软件北京大数据团队中的主要工作之一，用来支撑葫芦市场营销及广告投放对于大数据的需求，系统对基于大数据的精准营销与数据分析都提供了很好的支持，是葫芦软件在大数据方向发展的主力产品之一。
Segmentation系统的难题
Segmentation系统是葫芦软件持续开发的系统，随着数据量的不断扩大，需求多样化的增加，葫芦北京大数据团队针对Segmentation系统做了很多优化与迭代开发，现在的Segmentation系统对市场和广告团队的运营、报表及分析提供了全方位的支持。
能完成如此庞大的系统，赵堃亮老师坦言，葫芦软件北京大数据团队在开发中也遇到了不少难题。 在开发Segmentation系统中，为了能够帮助市场营销或者广告的营销人员方便的使用、查询数据，设计实现了基于JSON的DSL查询语言，基于这种JSON的泛型表达式，团队开发了基本的模板工具，允许用户通过在页面上的拖拽创建表达式进行数据查询。随着数据量的增加，为了满足运营快速查询、分析的需求，葫芦在处理问题中不断总结经验，投入精力开发了针对嵌套数据的查询引擎Nesto，实现了在海量数据下的交互式查询。现在的葫芦还完成了和第三方数据及广告公司进行数据的交换，完善了市场营销集成及广告投放效果评测工作，运营人员可以在Segmentation系统中方便的创建维护营销方案。系统能做到这些都是在不断迭代开发中总结经验、解决问题的成果。
葫芦团队
葫芦成立于2008年，总部位于美国，公司创立之初同时成立了北京团队，葫芦的核心文化之一便是“One Team”（同一个团队），葫芦北京团队承担了葫芦业务线所有模块开发，现在葫芦已经实践出了很好的跨洋合作的形式，北京的团队和美国的团队共同来支撑需求，完成产品的开发。这和葫芦内部优秀的开发人员，以及葫芦内部开放、融合的环境有着直接的关系。对于葫芦来说，并不区分美国团队或是北京团队，始终强调的是一支团队，共同帮助葫芦完成市场目标，服务用户，重新定义电视。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
