鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Kafka

266内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 266 条

高速数据总线kafka介绍

本文主要介绍高速数据总线kafka，下面，我们就从Kafka的作用、产生背景以及架构等方面来详细讲解。

2017-07-02 13:43:42

大数据 kafka 数据总线

Spark Streaming vs. Kafka Stream 哪个更适合你

本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。

2017-06-27 15:08:05

大数据 Apache Spar Kafka Strea

实用 | 从Apache Kafka到Apache Spark安全读取数据

随着在CDH平台上物联网(IoT)使用案例的不断增加，针对这些工作负载的安全性显得至关重要。本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据，以及针对物联网(IoT)使用案例的两个关键组件进行了说明。

2017-06-26 15:00:17

大数据 Apache Kafk Apache Spar

kafka数据可靠性深度解读

本文首先从Kafka的架构着手，先了解下Kafka的基本原理，然后通过对kakfa的存储机制、复制原理、同步原理、可靠性和持久性保证等等一步步对其可靠性进行分析，最后通过benchmark来增强对Kafka高可靠性的认知。

2017-06-23 18:25:51

kafka 数据可靠性

什么时候该用RabbitMQ ，什么时候该用 Apache Kafka

这篇文章致力于给予潜意识，表意识一些公平的考虑，从今天最现代，最受欢迎的选择： RabbitMQ和Apache Kafka。每个都有自己的起源故事, 设计意图，使用案例，被应用, 整合能力，和开发人员的经验。对于任何的软件，起源揭示总体设计意图，都是一个很好的起点。

2017-05-15 09:55:07

RabbitMQ Apache Scala

Apache Kafka在大数据生态系统中的价值

Kafka是个高可扩展的生产消费者系统。利用Kafka系统，用户可以发布大量的消息，同时也能实时订阅消费消息。本文旨在说明Kafka如何在大数据生态系统中扮演越来越重要的角色。

2017-05-10 16:10:28

Kafka 大数据数据库

干货｜Kafka在大数据环境中的应用

我们生活在一个数据爆炸的时代，数据的巨量增长给我们的业务处理带来了压力，同时巨量的数据也给我们带来了十分可观的财富。随着大数据将各个行业用户、运营商、服务商的数据整合进大数据环境，或用户取用大数据环境中海量的数据，业务平台间的消息处理将变得尤为复杂。如何高效地采集、使用数据，如何减轻各业务系统的压力，也变得越来越突出。

2017-04-28 11:45:16

大数据 Kafka 大数据应用

Kafka设计原理以及在达观产品中的应用

这样的业务需求需要达观提供数据暂存服务，也就是说我们需要一个系统在生产者（客户上报数据）和消费者（后台数据处理）之间进行沟通，简而言之叫系统间通信消息系统，这种模型就是经典的生产者（producer）、消费者（consumer）模型。

2017-03-16 20:00:17

Kafka 设计原理达观产品

开源“Chaperone”：Uber是如何对Kafka进行端到端审计的

为了监控Kafka数据管道的健康状况并对流经Kafka的每个消息进行审计，我们完全依赖我们的审计系统Chaperone。Chaperone自2016年1月成为Uber的跨数据中心基础设施以来，每天处理万亿的消息量。下面我们会介绍它的工作原理，并说明我们为什么会构建Chaperone。

2017-01-05 20:11:34

大数据技术审计系统

大数据小课堂——深入浅出Kafka

Kafka可以让合适的数据以合适的形式出现在合适的地方。Kafka的做法是提供消息队列，让生产者单往队列的末尾添加数据，让多个消费者从队列里面依次读取数据然后自行处理。

2017-01-05 17:35:18

百度云天算

Kafka在行动：7步实现从RDBMS到Hadoop的实时流传输

本文目标读者是技术人员。继续读，我会图解Kafka如何从关系数据库管理系统(RDBMS)里流输数据到Hive，这可以提供一个实时分析使用案例。为了参考方便，本文使用的组件版本是Hive 1.2.1，Flume 1.6和Kafka 0.9。

2016-12-28 17:45:30

Hadoop 大数据 Kafka

Apache Kafka如何让流数据进入主流译文

开源Apache Kafka是一项高效的大数据策略中日益重要的核心部分，本文解释了个中原委。

2016-10-19 16:52:52

流数据 Apache Kafk

Kafka和Twitter新开源的DistributedLog技术对比

我们在2016年五月开源了DistributedLog项目，引起了社区的广泛关注。大家常常问起的问题之一就是DistributedLog与Apache Kafka相对比，各有什么优劣。

2016-10-17 15:04:02

开源 Distributed Apache Kafk

使用Elasticsearch、Kafka和Cassandra构建流式数据中心

在过去的一年里，我遇到了一些软件公司讨论如何处理应用程序的数据(通常以日志和metrics的形式)。在这些讨论中，我经常会听到挫折感，他们不得不用一组零碎的工具，随着时间的推移将这些数据汇总起来。

2015-10-22 14:02:58

Elasticsear Kafka Cassandra

发布&订阅的消息系统 Kafka的深度解析

一个典型的kafka集群中包含若干producer（可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干consumer group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在consumer group发生变化时进行rebalance。producer使用push模式将消息发布到broker，consumer使用pull模式从broker订阅并消费消息。

2015-01-27 10:25:42

消息系统 Kafka

LinkedIn三人小组离职创立Confluent:基于Kafka实时信息列队系统

LinkedIn有个三人小组出来创业了—正是当时开发出Apache Kafka实时信息列队技术的团队成员，基于这项技术Jay Kreps带头创立了新公司Confluent，致力于为各行各业的公司提供实时数处理服务解决方案。

2014-11-10 09:52:51

Kafka Java客户端代码示例

kafka是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）……

2014-08-11 16:35:35

Kafka Java客户端

上一页 1 2 3 4 5 6

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营