LinkedIn三人小组离职创立Confluent:基于Kafka实时信息列队系统

开发 移动开发 Kafka
LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员,基于这项技术Jay Kreps带头创立了新公司Confluent,致力于为各行各业的公司提供实时数处理服务解决方案。

LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员,基于这项技术Jay Kreps带头创立了新公司Confluent,致力于为各行各业的公司提供实时数处理服务解决方案,其他两位成员是Neha Narkhede和Jun Rao。该公司已获Benchmark、LinkedIn、Data Collective 690万美金融资。

Kreps将Kafka描述为LinkedIn的“中枢神经系统”,管理从各个应用程序汇聚到此的信息流,这些数据经过处理后再被分发到各处。

不同于传统的企业信息列队系统,Kafka是以近乎实时的方式处理流经一个公司的所有数据,目前已经为LinkedIn, Netflix, Uber和Verizon建立了实时信息处理平台。Confluent的愿景便是让其他公司也能用上这种平台。Confluent已经向Kafka用户了解了他们的使用模型。现在还没有产品出来,但这些实践足以启示Confluent应当打造何种产品。

Kreps承认,他最初也怀疑那些非网络公司是否会对Kafka这样的技术感兴趣,但当他看到金融服务和电信行业对这项技术的广泛采用后,Kreps改变了自己的看法。今年三月,去拜访了一家叫做Synapse Wireless的公司,这家公司使用Kafka来支持一套传感器网络系统,用于追踪医院工作人员的卫生习惯。

因此他认为需求是绝对存在的,Confluent的优势就在于近乎实时性。Kreps认为,基于Kafka信息处理技术建立一家公司,总比基于像Apache Storm这样的开源流处理技术建立一家公司要靠谱,因为信息列队是先进数据处理架构的更基本的组成部分。

他还记得刚加入LinkedIn那会儿,网站只有批处理系统,后来有了流处理系统后每个人都别提多开心了。再后来,他们意识到LinkedIn并没有支持这一系统的架构。

“当今大多数公司之所以与佼佼者存在差距,是因为他们几乎不能实时任何获取数据。”一旦公司找到最对路的技术堆栈,它们就有望建立物联网或者其它基于传感器的应用程序,再或者是从许多渠道抓取大量数据进入后端系统的其他业务。

“这实际上是开辟了全新的应用场景,”Kreps说道,“而且是不这么办就没法真正打开的场景。”

责任编辑:林师授 来源: 36氪
相关推荐

2013-07-19 09:50:56

OpenStackVMware

2009-12-25 18:04:52

Linux版本选择

2010-02-25 09:17:32

HTML 5H.264Flash

2013-09-23 09:24:33

2021-05-06 09:47:54

马斯克编程人工智能

2021-05-24 15:26:35

人工智能机器学习技术

2009-12-25 18:01:49

Linux的历史学习方法

2018-05-08 09:33:32

KVMXENOVZ

2013-05-13 16:45:37

创业LinkedIn创始人

2024-09-04 15:42:38

OpenCV开发Python

2018-10-15 17:24:31

Kafka分布式数据

2023-12-01 13:37:39

2012-11-05 10:18:21

云存储你画我猜云服务

2023-07-30 15:19:01

机器人人工智能

2021-07-05 06:26:08

生产者kafka架构

2021-04-26 09:25:10

JavaKafka架构

2011-01-19 16:31:15

Qmail

2013-09-29 18:05:41

2020-12-01 15:06:46

KafkaFlink数据仓库

2009-03-05 09:53:03

酷六钟胜辉离职
点赞
收藏

51CTO技术栈公众号