爱奇艺许立剑:分布式计算Mesos框架和应用

数据库 分布式
爱奇艺高级工程师许立剑分享分布式计算Mesos框架和应用,中科院软件所工程师李明宇分享关于视频编码与存储的设想,与大家共同探讨视频网站背后的技术架构发展。

视频网站已经深深地走入了每个人的生活,并成为一种重要的内容传播平台,但是从事互联网行业的人会更清楚这一点,如果没有相应的技术支撑,即使有再好的想法和再好的内容,也很难变现为可行的平台和商业模式,对于中国互联网视频行业而言,无论是三网融合的契机,还是移动互联网的未来,对相关技术的重视都是发展的基础。

刘文峰:分布式计算Mesos框架和应用爱奇艺高级工程师许立剑

爱奇艺高级工程师许立剑在活动中对Mesos进行了介绍,Mesos2009年诞生于伯克利AMPlab,用于构建和运行其他分布式系统的分布式系统,可以毫不费力得支撑3万台服务器。Mesos广泛应用于Twitter、eBay、Vimeo等公司,支持Hadoop、Spark、Storm、Jenkins、Marathon、Chronos等多种框架,同时支持自行构建架构,例如视频转码。

Mesos在爱奇艺中的使用是从2013年7月开始初步调研,至今已经上线Hadoop、Spark等框架,并自行开发上线了分布式视频转码框架。在上海,北京,重庆三地近200台服务器,让很多地方看到了Mesos的可利用性,完成视频转码任务达到1000万以上,Storm、Marathon、Chronos、分布式爬虫等框架测试并陆续上线中。

在本次讲解中,许立剑拿OpenStack与Mesos进行了对比,突出了Mesos的优点。

刘文峰:分布式计算Mesos框架和应用

从图中可以很清楚的看到Mesos的优势很明显,用更少的物理机,无需管理虚拟机,就可以很轻松的完成视频转码和计算任务。

同时在活动上许立剑还阐述了静态资源规划的弊端,难以共享数据,难以弹性地分配资源,难以充分利用资源,难以处理服务器失败。从他的角度为大家很好的概述了以上的情况。

责任编辑:彭凡 来源: 置顶网
相关推荐

2015-07-22 12:53:55

罗生门式

2010-06-03 19:46:44

Hadoop

2021-12-13 11:07:10

鸿蒙HarmonyOS应用

2023-06-05 07:36:30

数据湖大数据架构

2024-03-01 09:53:34

2017-09-01 05:35:58

分布式计算存储

2015-08-03 13:12:43

分布式计算Mesos新版本特性

2021-01-08 13:42:28

爱奇艺机器学习深度学习

2012-07-18 09:29:14

爱奇艺Windows Pho

2022-06-10 15:37:24

爱奇艺App网络

2015-10-15 14:05:51

StormSparkMapReduce

2015-07-23 14:50:54

2022-07-22 15:31:45

爱奇艺​视频内容延迟敏感

2012-09-19 14:09:20

Hadoop开源

2013-03-26 13:43:08

Java分布式计算

2021-09-09 15:45:17

机器学习人工智能Ray

2018-12-27 13:11:04

爱奇艺APP优化

2016-12-23 14:03:40

华为爱奇艺

2023-08-11 07:44:09

大数据数据分析

2023-06-26 00:14:28

Openjob分布式任务
点赞
收藏

51CTO技术栈公众号