Netflix开源数据流管理器Suro

云计算
Netflix近日开源了一个叫做Suro的工具,公司可以利用它来做数据源主机到目标主机的实时定向。它不只在Netflix的数据管道上扮演重要角色,大规模下的应用场景同样令人印象深刻。

Netflix近日开源了一个叫做Suro的工具,公司可以利用它来做数据源主机到目标主机的实时定向。它不只在Netflix的数据管道上扮演重要角色,大规模下的应用场景同样令人印象深刻。

Netflix各种应用程序每天生成数百亿的事件,Suro可以在数据被发送之前收集到它们,然后部分经过Amazon S3给Hadoop批处理,另一部分经过Apache Kafka给Druid 和 ElasticSearch做实时分析。从Netflix博客了解到,公司也在考虑如何让Suro支持Storm或Samza这样的实时处理引擎去执行事件数据的机器学习。

 

 

熟悉大数据领域的人们都知道,很多技术都与公司挂钩,例如Netflix 创建了Suro, LinkedIn 创建了Kafka 和 Samza , Twitter创建了Storm,Metamarkets 创建了Druid 。Suro博客也承认它是基于Apache Chukwa项目,类似 Apache的Flume , Facebook的Scribe 。诚然,这些项目中最显著的无疑是Hadoop。

公司为什么要建立自己的技术一直是争议的热点,因为他们的需求,一般都会被创建,就像在生活中的很多东西,不过,这个问题的答案还得具体问题具体分析。例如Storm,正在成为一个非常受欢迎的流处理工具,但LinkedIn觉得它需要不同的东西,因此创建Samza。取代使用一些已有的技术,Netflix创建了Suro,主要因为该公司虽然是一个重度的云服务用户(主要基于AWS),但也有一些非AWS业务,包括Apache Cassandra数据库。

 

 

这场技术创新最终赢家必然归结于采用这些主流技术的用户,无需在公司内部招聘专业人士,就可让公司从这些开源技术中获益。例如,我们已经看到Hadoop供应商试图让Storm和Spark框架用于其企业客户。同时,我们也相信Hadoop绝对不是最后一个这样的技术。AWS有非常多的用户,毕竟他们希望Suro这样技术提供的能力,而不是被AWS推出的服务绑定。

责任编辑:王程程 来源: Gigaom
相关推荐

2021-09-09 18:42:12

React 组件数据

2022-07-11 07:31:12

massCode开源工具

2013-06-19 09:49:34

云计算大数据Hadoop

2020-09-29 16:49:41

开源密码管理器互联网

2010-10-08 09:26:17

.NET微软

2023-03-03 09:09:55

2022-08-09 18:00:26

开源密码管理器Padloc

2016-12-23 17:20:56

2014-02-24 15:26:39

开源文件管理器

2020-04-15 19:31:59

Bitwarden开源密码管理器

2010-12-28 14:53:29

服务器管理器

2023-10-22 08:44:06

2022-07-14 16:18:32

massCode开源

2013-03-29 12:52:14

Android位置管理

2020-12-25 07:41:36

KubernetesOpenKruise应用

2021-11-15 14:42:20

Motrix下载管理器开源

2009-02-01 10:17:22

布局管理器LayoutManagGUI

2020-03-12 18:34:30

Windows 10Windows任务管理器

2020-09-23 06:21:44

KeePassXC密码管理器开源

2017-12-12 10:50:54

数据中心机柜气流
点赞
收藏

51CTO技术栈公众号