2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方,将全程视频、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会。
淘宝高级技术专家毛波为参会者分享了主题为数据分析挖掘实践及变革的演讲。淘宝自07年以来,在数据分析挖掘方面投入了相当大的力量,并且取得了相当大的成果。在数据应用的格局中,分别开发了对外和对内的数据服务,实现了数据像水电煤气一样,哪里需要就可以接入。
淘宝在08、09年启动了去IOE的工程,替换掉IBM、Oracle、EMC的服务器集群解决方案。之后越做越大,在11年开始探索做公有云,到现在开始探索金融服务和精准营销等新领域。
数据系统变迁需要考虑性能、扩展性、运维三个方面,技术方案必须围绕数据量、资源和业务需求来打造。
淘宝现在的数据应用格局如下:
对外数据产品,如淘宝指数、量子恒道等。分别对卖家、分析师、买方提供数据分析服务。
数据嵌入产品中。如搜索、广告、推荐等。数据就像水电煤气,哪个地方需要就可以接入。
内部数据服务。如淘数据门户、多维数据自助查询平台。日活跃用户超过1000,会直接访问Hadoop集群。
数据工具。如天网调度、元数据管理、数据地图等。
新的探索。如金融服务、全网精准营销、无线与PC数据打通等。这些服务都需要数据分析的帮助,因此数据部门直接参与。
***,毛讲师还分享了他对于现在大数据的一些观点。
- 数据处理是手段,数据应用是根本。
- 云系统的运维能力是核心竞争力。
- 整合关联让数据价值指数级增长。
- 数据可视化很重要。
- 想大做小,迭代优化。
- 关于隐私。隐私和服务需要权衡,控制使用比控制收集更有效,数据使用不针对具体个体。
以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道,敬请关注。