9月28日,由人民邮电出版社主办,《大数据》杂志、数创汇承办的中国国际大数据大会在北京召开,现场嘉宾们围绕大数据政策、标准、市场、技术、产品、应用、安全、交易等大数据产业热点,进行了精彩碰撞。腾讯云数据产品副总经理刘煜宏现场也为大家分享了腾讯云大数据产品数智方略如何帮助企业决策者做到“心中有数”。
腾讯云数据产品副总经理刘煜宏现场精彩分享
对于数据而言,规模就代表着能力
在刘煜宏看来,数据不仅是连接器,可以连接所有的人和应用,数据更是一种资产,而腾讯经过QQ、微信、QQ空间、腾讯视频、腾讯浏览器等海量业务的锤炼,在服务亿万用户的过程中,积累了丰富的数据分析和数据处理经验。“每天有数以亿计的用户使用我们的社交、游戏、文学、娱乐、视频、听歌等等产品,这些用户每天贡献几万亿条数据。我们通过对这么庞大数据不断的挖掘分析,然后去找到用户的需求,找到我们的问题,去改进我们的产品。”
腾讯云数智方略整个平台集群规模超过2万台,存储的数据量超过280PB,每天数据处理量超过20P,每天作业数200多万,我们每天在平台上面启动的容器数超过1.5亿,每天采集的数据达到6.2万亿条,平均每秒7000多万条,高峰的时候甚至每秒好几亿条。
基于以上十几年的数据分析积累,从2009年我们***个内部Hadoop大数据集群上线以来,腾讯大数据分别经历了离线计算、实时计算阶段,如今我们进入机器学习阶段。
数智方略,大数据处理速度比传统Hadoop提升780倍
刘煜宏介绍道,腾讯云的数智方略是一站式、全流程的大数据服务平台,包含3层46个产品组件,产品组件数量还在不断的丰富中。
其中数智基于腾讯多年海量数据处理经验,结合开源Hadoop生态和自研组件服务,为客户提供了从采集、存储、计算、挖掘到可视化的一站式数据处理服务,其中更囊括了腾讯自研的机器学习引擎。用户可以按需部署大数据处理服务以实现企业的业务需求,例如:数据提取、处理分析、报表展示、客户画像、机器学习等大数据应用,以提高企业在大数据背景下的核心竞争力。
刘煜宏重点介绍了数智平台的高性能并行计算模块,“它是分布式机器学习的框架,我们给它起了一个很好听的名字叫天使,这是我们跟北京大学、香港科技大学三方联合研发的一个系统,2015年投入使用,它可以支持10亿级数据的训练,它在我们内部已经支持了很多的业务,比如腾讯视频、广点通、微信等。”
数智基础平台虽然来源于社区,但是腾讯云对产品做了深度改造,尤其是数据安全方面,不仅构建了开放的API,也在今年首批通过大数据产品基础能力认证,9月初腾讯云再次通过了大数据产品的性能认证。
方略提供开放通用的数据应用及分析服务,包含了用户洞察分析、区域人流分析、云搜、文智自然语言处理、机智机器学习、开放通用推荐等。
用户洞察分析,可以结合企业已有用户群体,通过数据挖掘和关系链的分析,帮助找到***甚至上亿的潜在用户群体。
区域人流分析,可以实时了解区域人流动态,精准评估拥挤等级。
舆情分析可以通过社交热词、人群画像等,帮助企业的商业决策有的放矢。
优图人脸识别的底层能力是图像识别技术,我们积累了非常庞大的人脸模型数据库,准确率可以达到99.65%。
数智方略还针对游戏和移动行业提供了idata游戏大数据平台、移动分析、移动运营、移动PUSH等大数据服务。
刘煜宏现场展现了腾讯云数智方略和传统Hadoop的数据处理处理对比,结果显示,对于10亿用户画像数据分析,数智平台大数据处理速度比传统Hadoop提升780倍。在对微信每天160亿级别的多维分析场景中,数智能够做到6秒返回结果。
在案例分享环节,刘煜宏介绍了与上海同济城市规划设计院合作开发的针对上海迪士尼周边区域的效益分析应用,通过区域人流分析和用户画像了解区域盈利能力。在腾讯与广东省旅游局共同打造的“旅游+互联网”服务云项目中,腾讯云大数据解决方案可以帮助分析汇总节假日广东省旅游热点地区,包括旅游资源配套资源供给、出行方式、社交舆情等,为优化旅游资源使用,提升游客体验提供辅助决策。
“榕树计划”:与合作伙伴共建云上大数据生态
为了与大数据产业链各方合作伙伴构建大数据生态,腾讯云数智方略推出了“榕树计划”,针对旅游、公共安全、城市规划、生命科学、金融五大重点行业,优先选择50家大数据行业合作伙伴,联合发布行业解决方案,并提供市场、销售、培训、产品技术的相应支持。同时将重点扶植100家大数据行业客户,提供一对一专属大数据架构师支持服务及30分钟快速响应的技术支持绿色通道。