揭破CDN优化之谜—Tech Neo第十五期技术沙龙

原创
移动开发
本次沙龙邀请了来自国美互联网应用运维技术负责人张高明、美团云技术专家王伟和一下科技架构师贾朝藤三位老师,和近百位开发者共同揭破CDN之谜,分享不同领域的CDN优化实践之道。

【51CTO.com原创稿件】网站特效多加载慢、DDOS攻击、CPU负载、跨运营商、地区服务器负载等网络问题,一直是大中小企业的困扰。CDN凭借灵活、便捷、成本低等因素,成为众企业选择优化网络的主流方案。但CDN化并非易事,无论是自建还是商用,总要面临技术、资金、抉择等挑战。

“寒暑平和昼夜均,阴阳相半在秋分”。在这个有意义的节气,51CTO以“Tech Neo”为主题的技术沙龙第十五期于北京举行。本次沙龙邀请了来自国美互联网应用运维技术负责人张高明、美团云技术专家王伟和一下科技架构师贾朝藤三位老师,和近百位开发者共同揭破CDN之谜,分享不同领域的CDN优化实践之道。

[[204676]]

 “CDN如何让网络更智能”活动现场

国美互联网CDN方向的实践

活动以张高明老师分享为开端,主要阐述了国美互联网在CDN方向的一些实现与痛点

[[204677]]

张高明·国美互联网应用运维技术负责人

这位互联网老兵,让开发者对于智能CDN有了更深的认识,如下图 

Tech Neo

如图中所示,智能CDN由人、AI、大数据、智能DNS、链路优化以及智能调试器等六部分组成,形成闭环,环环相扣。

张老师主要介绍国美互联网在APP、IMG和视频三方面的CDN优化实践:

  • APP端。做静态文件优化,采用方式有缩略图、两种Cache、短缓存等。
  • IMG。采用WebP的格式,两种图片、CDN采用UA判断实现、60%-70%资源占用
  • 视频。推、拉模式选择、CDN调度器、自适应播放器

当然,在CDN优化过程中,也遇到一些痛点:

  • 如ISP(劫持、IP移动端、GFW)
  • 如CDN(服务质量、计费方式、个性化需求、朋友非敌人)
  • 如用户(外部、内部)

美团四层负载均衡-MGW

第二位分享的是有开发并部署美团四层负载均衡集群经验的王伟老师,从分享中开发者可了解到什么是负载均衡,四层与七层负载均衡的区别,以及实现高性能与高可靠的布设技巧

[[204678]]

王伟·美团云技术专家

负载均衡分为硬件和软件两种,硬件负载均衡像硬件、人力、时间等成本很高。软件负载均衡应用更广泛,如下图,是美团早期负载均衡结构

Tech Neo

早期负载均衡结构存在中断、过长的协议栈路径、锁和上下文切换等问题,解决上诉问题需做PMD驱动、kernel bypass、无锁设计和对CPU绑定、隔离。

在高可靠方面,美团自研MGW替换早期的LVS,主要解决机器下线导致的问题,升级过程中造成的影响,实现故障的检测与切换,故障恢复与扩容,提升MGW单机、应用服务等可靠性。

未来,希望进一步自动化升级以及部署上线,使得运维升本变得更低。

秒拍播放链路优化实践

最后一位分享来自一下科技的贾朝藤老师,围绕“秒拍播放链路优化实践”展开,涉及产品与技术架构、播放之前资源上传、播放 && 调度历史演进、转码和后续优化方向等细节。

[[204680]]

 贾朝藤·一下科技(秒拍、小咖秀、一直播)架构师

2013年8月上线的秒拍播放,每日数亿视频播放量,数千位明星入驻,当前秒拍和小咖秀日播放量峰值突破30亿次,日上传量峰值达200万。技术架构从上至下分为WEB、APP,业务逻辑API,用户与视频服务,基于关系、计数、搜索、PUSH、推荐等一些类服务四大层。

如下图,是播放之前资源上传流程

播放&调度共经历了两个版本,第一是业务逻辑直接返回;第二是基于探测点,CDN日志离线计算CDN质量,调度切量。在自有IP库及IP库数据更新维护、防劫持与数据上报&日志分析等方面都进行了迭代。当然,在过程中也会有不可预测的黑天鹅,如新浪S3服务异常、内网中断,七牛宁波光纤被挖断等。

在播放调度方面,多家CDN质量调度,快速接入。实现快速返回、弱业务逻辑、轻量,高效、灵活可控。

转码服务是不可缺少的一环,如下图是整个转码流程

Tech Neo

活动接近尾声,开发者们的热情依旧高涨,针对CDN测试、架构设计、安全、备份等细分问题,与诸位老师进行了深度交流。

[[204681]]

[[204682]]

51CTO Tech Neo技术沙龙是51CTO在2016年开始定期组织的IT技术人员线下交流活动,目前仅限北京地区,周期为每月1次,每期关注一个话题,范围涉及大数据、云计算、机器学习、物联网等多个技术领域。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

责任编辑:王雪燕 来源: 51CTO
相关推荐

2017-08-26 16:02:26

Tech Neo技术沙龙

2017-09-20 13:34:05

技术沙龙Tech NeoCDN

2017-09-11 13:56:37

技术沙龙技术沙龙Tech Neo

2017-11-25 18:21:00

2017-10-17 18:06:08

2011-10-30 19:28:07

VPN51CTO技术沙龙第十五期

2018-03-31 17:57:00

企业应用容器化Tech Neo沙龙

2017-10-28 17:28:52

运维新时代沙龙

2017-10-12 16:13:56

技术沙龙Tech NeoCDN

2018-01-27 17:29:13

Tech Neo技术沙龙智能化运维

2018-04-23 17:38:20

技术坐诊

2017-11-17 13:17:35

技术沙龙Tech Neo

2018-04-10 10:22:07

TechNeo/沙龙/

2014-01-14 16:21:55

IT半小时

2017-11-08 11:03:59

技术沙龙Tech Neo

2017-10-23 10:16:17

技术沙龙Tech NeoCDN

2018-04-23 14:43:51

微服务PHPMySQL

2017-08-15 16:19:10

技术沙龙Tech Neo

2017-12-12 13:41:37

技术沙龙Tech NeoCDN

2018-04-21 18:45:46

点赞
收藏

51CTO技术栈公众号