鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Kafka

266内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 266 条

生产故障｜Kafka消息发送延迟达到几十秒的罪魁祸首竟然是...

通过对日志分析发现存在大面积分区Leader选举，__consumer_offsets主题的分区也大量进行分区Leader选举，从而导致消息发送几乎停止，大量消费组触发重平衡，整个集群接近瘫痪，最终确定了根因：Broker节点与Zookeeper会话超时，触发大量分区重新选举。

2022-01-04 08:33:33

Kafka 消息发送

聊聊 Kafka： Consumer 源码解析之 Rebalance 机制

Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 Consumer 如何达成一致，来分配订阅 Topic 的每个分区。

2021-12-30 22:50:32

Kafka Consumer 源码

Kafka 的生产者与消费者机制+分区策略，你这还不懂？

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

2021-12-28 12:01:59

Kafka 消费者机制

面试必问 | 聊聊Kafka的消费模型？

最近，有些读者去头条二面，被面试官问了一个关于Kafka的问题：多个Kafka消费者如何同时消费相同Topic下的相同Partition的数据? 看似一个简单的问题，竟然把这位读者问懵了!

2021-12-27 08:22:18

Kafka 消费模型

比较Hadoop、Spark和Kafka大数据框架

大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

Hadoop Spark Kafka

双十一期间Kafka以这种方式丢消息让我猝不及防

讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读Kafka的内核。

2021-12-07 18:33:53

Kafka 消息集群

图解 Kafka 架构与工作原理

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2021-12-07 07:32:09

kafka 架构原理

Kafka 三高架构设计剖析

Kafka 向来以高吞吐量，低延迟，高并发, 高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。

2021-11-01 17:17:13

Kafka 高并发场景

Kafka 夺命连环11问

kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。

2021-10-26 15:56:57

kafka 数据平台，

Kafka 的生成者、消费者、broker 的基本概念

kafka是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。文件系统或者数据库提交日志用来提供所有事物的持久化记录，通过重建这些日志可以重建系统的状态。同样地，kafka的数据是按照一定顺序持久化保存的，可以按需读取。

2021-10-26 10:50:25

KubeMQ，一种Kafka的替代品译文

本文将向您介绍一种作为Kafka替代品的KubeMQ，讨论它作为Kubernetes的原生消息队列，是如何在Kubernetes上实施，并让应用从中受益。

2021-10-19 09:00:00

KubeMQ Kubernetes 工具

Kafka 精妙的高性能设计之二

在上一篇文章中，指出了高性能设计的两个关键维度：计算和 IO，可以将它们理解成「道」。这篇文章将继续对存储消息和消费消息的 8 条高性能设计手段，逐个展开分析，废话不多说，开始发车。

2021-10-18 08:28:03

Kafka 架构主从架构

为何说KubeMQ会是Kafka的替代品？译文

现代应用是复杂的，有许多不同的活动部件。即使对于最基本的执行中心应用程序，前端接口也会触发支付处理事务，而支付处理事务又会触发制造和运输事件。这些服务需要一种可靠的方式彼此通信，而不管底层网络或其他服务的可用性如何。

2021-10-14 15:42:53

消息队列 KubeMQ Kafka

多云与混合云场景下的数据同步方案之Kafka

现阶段，企业信息系统部署架构 (DA: Deploy architecture)的一大变化是，越来越多的企业在不断将越来越多的应用部署到云上，即业务系统上云的趋势愈演愈烈。

2021-10-11 07:01:33

混合云多云数据

Sentry 监控 - Snuba 数据中台架构简介(Kafka+Clickhouse)

Snuba 是一种在 Clickhouse 之上提供丰富数据模型以及快速摄取消费者(直接从 Kafka 获取数据)和查询优化器的服务。

2021-10-09 00:00:40

Sentr 监控架构

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。RocketMQ、Kafka 和 Pulsar 都是当今业界应用十分广泛的开源消息队列(MQ)组件，笔者在工作中遇到关于 MQ 选型相关的内容，了解到关于“事务消息”这个概念在不同的 MQ 组件里有不同内涵。

2021-10-03 21:41:13

RocketMQ Kafka Pulsar

Kafka 3.0重磅发布，都更新了些啥？

Kafka 设计之初被用于消息队列，自 2011 年由 LinkedIn 开源以来，Kafka 迅速从消息队列演变为成熟的事件流处理平台。

2021-09-24 18:36:48

数据平台传输

新同事上来就用Kafka，瑟瑟发抖...

事务是一个程序执行单元，里面的所有操作要么全部执行成功，要么全部执行失败。

2021-09-16 07:55:39

Kafka 事务执行

Go语言如何操纵Kafka保证无消息丢失

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级基础设施来处理流式数据非常有价值。

2021-09-13 07:23:53

Kafka大厂高频面试题：在保证高性能、高吞吐的同时保证高可用性

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制(replication)的存在，它就不会丢失。但是如果producer发送数据给broker后，遇到的网络问题而造成通信中断，那producer就无法判断该条消息是否已经提交(commit)。

2021-09-09 08:20:14

Kafka 网络故障集群

一文读懂kafka的幂等生产者

KAFKA 作为开源分布式事件流平台，在大数据和微服务领域都有着广泛的应用场景，是实时流处理场景下消息队列事实上的标准。用一句话概括，KAFKA 是实时数仓的基石，是事件驱动架构的灵魂。

2021-09-09 06:55:43

kafka 幂等生产者

CentOS安装filebeat收集日志到kafka

filebeat是日志数据采集器，可代替logstash收集日志，部署起来比较方便。一般日志量比较大，会先收集到kafka然后再进行消费。

2021-09-07 09:34:04

CentOS filebeat kafka

一图全解Kafka在Zookeeper中的数据结构

在kafka_2.8.0之前,kafka还是需要依赖zookeeper运行,kafka中的很多数据都存储在zk中, 例如「Broker的注册信息」、「Topic的信息」、「运维操作临时信息」、「配置信息」等等其他信息。

2021-09-06 09:05:58

kafka Zookeeper 数据

一篇带给你Kafka核心知识总结！

Apache Kafka是由LinkedIn采用Scala和Java开发的开源流处理软件平台，并捐赠给了Apache Software Foundation。

2021-09-06 08:31:11

Kafka 架构主从架构

Kafka运维 | 你真的懂数据迁移吗？

在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算。

2021-08-30 15:41:13

Kafka 运维数据

Kafka消息发送线程及网络通信

回顾一下前面提到的发送消息的时序图，上一节说到了Kafka相关的元数据信息以及消息的封装，消息封装完成之后就开始将消息发送出去，这个任务由Sender线程来实现。

2021-08-30 13:08:56

Kafka 网络通信

微服务消息代理选型：Redis、Kafka、RabbitMQ

在为微服务使用异步通信时，通常使用消息代理。代理确保不同微服务之间的通信可靠稳定，消息在系统内得到管理和监控，并且消息不会丢失。

2021-08-30 11:36:23

微服务开发技术

Kafka 精妙的高性能设计之一

Kafka 的高性能设计可以说是全方位的，从 Prodcuer 、到 Broker、再到 Consumer，Kafka 在掏空心思地优化每一个细节，最终才做到了这样的极致性能。

2021-08-30 09:30:29

Kafka 高性能设计

Kafka、RocketMQ、Pulsar全方位对比！

消息队列也通常称为消息中间件，提到消息队列，大部分互联网人或多或少都听过该名词。对于后端工程师而言，更是日常开发中必备的一项技能。

2021-08-24 07:57:26

Kafka RocketMQ Pulsar

云原生数据湖架构中的无服务器Kafka 译文

人们需要了解如何在混合云上利用云原生和无服务器Apache Kafka来处理与数据湖互补的动态数据。而Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

2021-08-18 09:00:00

云原生混合云无服务器

Springboot整合Kafka Stream实时统计数据

Kafka Streams是一个客户端类库，用于处理和分析存储在Kafka中的数据。它建立在流式处理的一些重要的概念之上：如何区分事件时间和处理时间、Windowing的支持、简单高效的管理和实时查询应用程序状态。

2021-08-17 06:48:43

Springboot Kafka Stream

Kafka在保险行业中的应用案例译文

本文将从探讨事件流的各种用例和架构出发，通过介绍来自Generali、Centene、Mobiliar、Humana、freeyou和Tesla的真实案例，展示保险行业对于相关数据的创新式集成和实时流处理。

2021-08-16 09:00:00

架构开发保险

用Spark，Kafka和k8s构建下一代数据管道译文

本文检查了架构模式，并提供了一些示例代码供读者在自己的环境中实现。

2021-08-06 09:47:43

架构开发数据集成

Kafka 如何解决消息不丢失？

Kafka 消息框架，大家一定不陌生，很多人工作中都有接触。它的核心思路，通过一个高性能的MQ服务来连接生产和消费两个系统，达到系统间的解耦，有很强的扩展性。

2021-08-04 07:47:18

Kafka 消息框架

聊聊 Kafka 那点破事！

Kafka作为一款开源的消息引擎，很多人并不陌生，但深入其源码的同学估计不多，除非你是中间件团队消息系统维护者。

2021-07-30 07:28:15

Kafka 消息引擎

如何使用Kafka Connect创建用于处理实时数据的开源数据管道？译文

本文介绍了如何使用完全开源的技术创建实时数据管道，这类开源技术包括 Kafka Connect、Apache Kafka和Kibana 等。

2021-07-29 08:00:00

开源数据技术

Kafka中的这只“千里眼”，你需要知道！！！

作为Kafka集群的负责人，消费端出现消息积压，反复发生重平衡等问题时，如何快速定位性能瓶颈显的至关重要。

2021-07-26 10:48:47

消费者实现逻辑-kafka知识体系(四）

Consumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。Kafka 仅仅使用 Consumer Group 这一种机制，却同时实现了传统消息引擎系统的两大模型：消息队列模型、发布 / 订阅模型。

2021-07-08 05:52:34

Kafka 架构主从架构

Broker的实现逻辑-kafka知识体系(三）

Broker 是怎么进行数据接收和持久化的呢？下面我们从Broker 的网络设计聊起。kafka的网络设计和Kafka的调优有关，这也是为什么它能支持高并发的原因。

2021-07-07 07:06:31

Broker kafka 架构

5 分钟搞懂高性能分布式消息系统 Kafka

kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗的说就是一个基于发布和订阅的消息队列。

2021-07-06 10:35:46

分布式 Kafka Linux

快到起飞的Kafka，是如何设计的？

消息队列是分布式系统中重要的组件，在很多生产环境如商品抢购等需要控制并发量的场景下都需要用到。

2021-07-06 06:39:58

Kafka 消息队列系统

生产者的实现逻辑-kafka知识体系(二）

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。

2021-07-05 06:26:08

生产者 kafka 架构

基础概念、架构和新版的升级-Kafka知识体系（一）

Kafka 是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由 LinkedIn 公司开发，使用 Scala (JAVA)语言编写，目前是Apache 的开源项目。

2021-07-02 06:27:00

Kafka 架构主从架构

从一次Kafka宕机，我明白了Kafka高可用原理

不管是传统的基于关系型数据库设计的系统，还是分布式的如 zookeeper 、 redis 、 Kafka 、 HDFS 等等，实现高可用的办法通常是采用冗余设计，通过冗余来解决节点宕机不可用问题。

2021-06-29 10:18:07

Kafka 宕机系统

关于Kafka消费者的这些参数，你应该要知道？

个人觉得，要想深入了解Kafka Consumer的核心工作机制可以从它的核心参数切入，为后续深入了解它的队列负载机制、消息拉取模型、消费模型、位点提交等机制打下基础。

2021-06-28 11:45:28

Kafka 消费者参数

3分钟带你彻底搞懂 Kafka

实时数据处理，从名字上看，很好理解，就是将数据进行实时处理，在现在流行的微服务开发中，最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。

2021-06-18 07:34:12

Kafka 中间件微服务

《吃透 MQ 系列》之 Kafka 存储选型的奥秘

从这篇文章开始，我将从微观角度切入，深入分析 Kafka 的设计原理。本文要讲的是 Kafka 最具代表性的：存储设计。

2021-06-15 15:33:36

存储选型系统

《吃透 MQ 系列》之 Kafka 架构设计的任督二脉

Kafka 为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka 本身就是一个高并发系统，它必然会遇到高并发场景下典型的三高挑战：高性能、高可用和高扩展。

2021-06-10 07:49:27

Kafka 架构设计

Kafka原理篇：图解kakfa架构原理

决定图解 Kakfa，却让很多半懂不懂的同学可以加深对 Kafka 实现原理的理解。

2021-06-09 10:29:23

Kafka 架构组件

为什么Kafka如此之快？

Kafka 是由 LinkedIn 公司推出的一个高吞吐的分布式消息系统，通俗地说就是一个基于发布和订阅的消息队列，温故而知新，反复学习优秀的框架，定有所获。

2021-05-31 07:44:08

Kafka 分布式系统

上一页 1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营