【51CTO.com原创稿件】WOT2016大数据峰会将于2016年11月25-26日在北京粤财JW万豪酒店召开,届时,数十位大数据领域一线专家、数据技术先行者将齐聚现场,在围绕机器学习、实时计算、系统架构、NoSQL技术实践等前沿技术话题展开深度交流和沟通探讨的同时,分享大数据领域最新实践和最热门的行业应用。
51CTO记者对即将参加大会演讲的易观CTO郭炜老师进行了专访,让我们先睹为快,探听企业实时分析方面的心得。
讲师简介 :郭炜 毕业于北京大学,曾经在Teradata,IBM,中金工作,后来任万达大数据部总经理、联想大数据总监,后加入易观。在本次大会上郭炜老师将会为我们带来关于企业实时分析的历程、实时分析解决了企业的哪些痛点、企业建立实时分析平台时走过那些坑、为什么说实时分析是企业实施AI的必经之路等内容的演讲。
易观的特性是分析,具有行业很多深入的模型。数据每个企业都有,但是能把分析做好的企业不多,而易观正是这不多的企业之一。数据、技术是需要结合适当的分析才可以实现最终业务价值,在大数据时代先需要把小数据做到极致。
在大数据时代数据成为企业的核心,易观的主要数据来源是合作伙伴覆盖的手机上的SDK,帮助易观获得大量的用户对于APP使用的相关信息,再根据这些数据形成的用户画像标签与相关分析报告。
大数据时代数据安全问题成为了企业重视的问题之一,易观的数据从采集、加工、展示,每层都有QC(数据质量监控)的规则和监控,同时,易观也有专业技术人员结合分析师的业界经验给出的边界模型,通过数据治理体系可以针对279个领域每个不同的APP发生的异动合理性进行自动监测与辨识并自我交叉验证,以确保每个指标都是精准的反应移动互联网的一举一动。技术上,除了网络防火墙措施、堡垒机、token设置之外,更多的是技术管理流程和核心数据加密,易观现在也在做一个更复杂的加密措施,让关键数据离开了生产环境很难重新被复原。
数据云化成为趋势,易观使用了混合云来实现自己的大数据平台,大数据集群选用了私有云来保证高效处理,产品服务选用了公用云来应对客户的迅速增长。云服务已经由过去的IAAS更变为PAAS,给企业提供了更便利的服务。当然,对于大数据等高CPU高IO的服务,目前公有云使用上还需要进一步提升,我们也希望未来能有更好的云服务,将我们的底层大数据平台全部按需购买共有云服务。
大数据技术其实在采集、并发、大数据云迁移以及大数据Ad-hoc查询上都遇到过挑战,现在易观每日数据量级在150亿条左右,并发接收非常频繁,如何能收发自如的控制采集端将数据有时效性的上传到服务器上,服务器端如何结合这样的高并发请求,都是有挑战。特别是在年初做pb级别的大数据迁移时,也遇到系统并行要求每日100亿条数据要通过互联网实时复制到不同的云,也是比较大的挑战,最近解决的技术难题是怎么高性价比地在秒级响应百亿条数据的汇总查询,前面也有相关的技术分享讲解如何解决这些问题。
易观有千帆、方舟、博阅、万象四个产品,每个产品其实都有它独特创新的部分:千帆可以以T+2的方式让你看到全移动互联网的动态,每个APP的活跃情况和粘性等等;方舟可以让你做到对自身的运营分析,用户从哪里到到哪里去,他们的画像是如何的;广告万象可以让你在选择目标人群后,选择哪个渠道更适合广告;博阅可以通过分析报告的方式让你迅速了解全互联网的行业动态。每个产品宗旨其实都是对大数据的一个落地场景的应用,还是那句话,数据本身没有价值,只有数据分析之后才有价值。
数据是一种新能源,易观一直的目标是做数据时代下的炼油厂和加油站,数据就像原油,从各方而来,经过易观的处理和分析提炼,可以成为各种汽油、柴油为企业所用。大数据分析我一直非常看好,无论是过去通过人、现在通过算法模型,还是未来通过人工智能,将各种各样的数据变为有用的知识,变成机器与人之间的反馈交互,都是整个数据行业附加值最高的一部分,也希望更多的企业加入大数据分析的行业,把这个行业做的更好。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】