【51CTO.com原创稿件】七年一剑，华丽蜕变。自2012年起连续6年15场峰会，凝聚大量技术专家，博观而约取，厚积而薄发。2018WOT全球软件与运维技术峰会5月18日扬帆起航，围绕12大核心热点，汇聚海内外60位一线专家，打造高端技术盛宴!
在5月19日下午的C会场“高并发与实时处理”专场中，新浪微博实时流技术平台负责人廖博将带来精彩的分享。会前，51CTO记者有幸采访到他，针对“WAIC实时流计算平台的成长和繁衍”这一主题进行了深入的交流。
随着新浪微博业务的不断推进，对数据处理的实时性要求越来越高。例如，大家所熟悉的微博热词，需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务，通过提供统一的数据源和配置化接入方式，帮助提高新浪微博实时作业的开发效率，降低部门开发与运营的成本。
新浪微博实时流技术平台负责人廖博
廖博介绍，目前WAIC实时流计算平台经历了三个发展阶段：
- ***阶段，是由各种需求驱动的自由发展时期，新浪微博技术团队在这一阶段进行实时计算技术的研究和业务应用;
- 第二阶段，随着行业的发展以及业务对实时数据处理需求的急速增加，迫切需要一个实时流计算平台来支撑快速的业务发展需求，该阶段完成了实时流计算平台的初步建设;
- 第三阶段，是繁荣生长的阶段，包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设，以及样本生成平台、第三方特征接入平台等各类子服务平台。
WAIC实时流计算平台用storm、kafka、scribe、flume、http、docker等较为成熟的技术进行平台构建，以统一监控平台、实时数据对账系统、实时数据源为平台基础，利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。据介绍，WAIC平台满足了新浪微博实时打标签，feed、Push等业务的实时特征生成，以及图片、音视频等多媒体文件分析的业务需求。
业内人士都知道，吞吐量和扩展性是考验实时流技术的重要标准。目前，WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面，WAIC平台采用插拔式的接入方式，只需按照规范开发相应的weibox：首先将接入方式进行抽象，制定相应的规范，需要扩展的实时集群只要按规范接入即可。
***，廖博提到，WAIC实时流计算平台仍有一些问题尚未解决，包括实时流计算任务的统一资源调度，case统一追踪平台，多媒体分析平台，以及多机房多网络容灾。其中，前三项是新浪微博实时流技术平台下一步建设的重点。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
