鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Kafka

266内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 266 条

Kafka能有什么坏心思，不过是被Zookeeper害惨了……

最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。

2021-05-20 09:06:20

Kafka Zookeeper 分布式

图解Kafka的核心概念，一看就明白！

Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。

2021-05-13 07:30:27

Kafka 消息流系统

Golang 语言中 kafka 客户端库 Sarama

Apache Kafka 是一款开源的消息引擎系统。它在项目中的作用主要是削峰填谷和解耦。本文我们只介绍 Apache Kafka 的 Golang 客户端库 Sarama。Sarama 是 MIT 许可的 Apache Kafka 0.8 及更高版本的 Golang 客户端库。

2021-05-07 15:28:03

Kafka 客户端 Sarama

使用 Apache Kafka 和 SigNoz 实现应用可观测性

SigNoz 是一个开源的应用可观察性平台。SigNoz 是用 React 和 Go 编写的，它从头到尾都是为了让开发者能够以最小的精力尽快实现他们的可观察性目标。本文将详细介绍该软件，包括架构、基于 Kubernetes 的部署以及一些常见的 SigNoz 用途。

2021-05-04 18:28:23

Apache Kafk SigNoz 开源

Kafka 2.8.0发布，与ZooKeeper正式分手！

平时关注 Kafka 的小伙伴要注意了，2021年4月19日，Kafka 2.8.0正式发布!

2021-04-30 08:29:16

Kafka ZooKeeper 分布式

帅呆了！Kafka移除了Zookeeper！

普天同庆!最新版的Kafka 2.8.0，移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理。很好很好，终于有点质的改变了。

2021-04-28 18:28:44

Kafka Zookeeper

Java工程师的进阶之路Kafka篇

Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper 协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景。

2021-04-26 09:25:10

Java Kafka 架构

知其然而知其所以然，为什么Kafka在2.8版本中会“抛弃”Zookeeper

相信大家最近一定关注到一款重量级消息中间件Kafka发布了2.8版本，并且正式移除了对Zookeeper的依赖，背后的设计哲学是什么呢?仅仅只是减少了一个外部依赖吗?

2021-04-21 17:54:02

Kafka Zookeeper 场景

9张图，Kafka为什么要放弃Zookeeper

最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。

2021-04-21 12:29:45

Kafka Zookeeper 模型

《吃透 MQ 系列》之打通 Kafka 的任督二脉

把握住了这个关键点，我相信你将能更好地理解 Kafka 的架构设计，进而顺藤摸瓜地掌握 Kafka 的核心技术方案。

2021-04-20 19:20:57

Kafka 架构设计

Kafka原理篇：图解kakfa架构原理

今天我们来深入讲解 Kafka 的架构和实现原理。[码哥]将从架构和细节入手，以生动的图深入讲解 Kafka 的实现原理。

2021-04-09 08:54:14

Kafka 源码架构开发技术

Kafka如何保证高可用？有图有真相

Kafka允许同一个Partition存在多个消息副本，每个Partition的副本通常由1个Leader及0个以上的Follower组成，生产者将消息直接发往对应Partition的Leader，Follower会周期地向Leader发送同步请求。

2021-04-06 20:46:50

Kafka 高可用 Leader

《吃透 MQ 系列》之扒开 Kafka 的神秘面纱

这篇文章拖更了好几周，起初的想法是：围绕每一个具体的消息中间件，不仅要写透，而且要控制好篇幅，写下来发现实在太难了，两者很难兼得。

2021-03-28 20:44:34

Kafka 中间件 MQ

Kafka性能篇：为何Kafka这么"快"？

在学习 Kafka 的过程中，发现 Kafka 也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作。

2021-03-22 08:30:33

Kafka 源码架构开发技术

超详细讲解，带你零基础入门kafka！

本文超详细的讲解了零基础入门kafka，一起来看看吧。

2021-03-11 11:50:07

kafka 服务器 Java

如何在 .NET 中使用 Kafka

Kafka 是一个开源的，分布式的，可扩展的，高性能的发布订阅模式的消息中间件，如果你要构建一个处理海量数据的系统，那么 Kafka 将会是一个非常好的选择，这篇文章我们将会讨论如何基于 Kakfa 构建一个发布订阅模式的程序。

2021-03-09 07:27:40

Kafka 开源分布式

Kafka又出问题了！

作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。

2021-03-02 06:02:03

Kafka 高并发系统

如何在Windows上运行Apache Kafka？译文

本文介绍了如何在WSL 2支持的Linux环境中的Windows上运行Apache Kafka，以便最大程度地提高性能和稳定性。

2021-02-25 08:00:00

Windows Windows 10 开发

在线等，Kafka如果丢了消息怎么办？

Kafka 存在丢消息的问题，消息丢失会发生在 Broker，Producer 和 Consumer 三种。

2021-02-24 08:38:48

Kafka 消息 Consumer

我用Kafka两年踩过的一些非比寻常的坑

我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。

2021-02-21 09:28:24

kafka 系统并发量

六问 Kafka 为啥那么牛！

Kafka 是一个分布式的基于发布/订阅模式的消息队列，依靠其强悍的吞吐量，Kafka 主要应用于大数据实时处理领域。在数据采集、传输、存储的过程中发挥着举足轻重的作用。

2021-02-01 20:35:49

Kafka 大数据数据

我为什么放弃Kafka，选择Pulsar？

最近，我一直在研究 Pulsar 及其与 Kafka 的比较。通过快速搜索，你会看到这两个最著名的开源消息传递系统之间正在进行的"战争"。

2021-02-01 07:20:51

Kafka Pulsar 搜索

你都知道那些Kafka副本机制？

在日常开发过程中使用kafka来实限流削峰作用但是往往kafka会存放多份副本来防止数据丢失，那你知道他的机制是什么样的吗?本篇文章就带给大家讲解下。

2021-01-28 18:52:57

Kafka 副本机制

再见，Kafka！再见，RocketMQ！

Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件，2018 年成为 Apache 的顶级项目。

2021-01-21 07:16:03

RocketMQ Kafka 中间件

老少皆宜的Kafka长文，让你明白什么叫本分

看完本文，你将明白为什么一个简单的消息队列，能够有那么多的知识点;能够了解到Kafka的主要功能和应用场景;能够了解到Kafka的主要技术术语。了解到什么叫本分!

2021-01-15 18:28:57

Kafka 消息系统

搜狗开源框架发布纯自研C++ Kafka客户端

一个fetch消息的任务由一组任务组成，其中包括获取Kafka Broker的Meta任务、一系列的消费者组相关的任务、获取offset的任务和真正的拉取消息的任务。

2020-12-28 14:36:03

Kafka集群的搭建

最近在学习 kafka ，此处记录一下 mac 上搭建 kafka 集群的步骤。由于 kafka 依赖 zookeeper 因此需要安装 zookeeper ，而 kafka 是基于 scala 语言编写， scala 又是基于 jdk 的，因此需要安装 jdk 。

2020-12-14 12:48:51

Kafka 集群节点

图文详解：Kafka到底有哪些秘密让我对它情有独钟呢？

好了，开始进入正题。今天给大家带来的的是关于我们的老朋友Kafka的来世今生。随着对实时性的要求越来越高，那么在庞大的数据的传输过程中怎么能保证数据的快速传递呢，由此，消息队列产生了。

2020-12-11 11:25:30

Kafka 传输开发

Kafka中改进的二分查找算法

最近有学习些Kafak的源码，想给大家分享下Kafak中改进的二分查找算法。二分查找，是每个程序员都应掌握的基础算法，而Kafka是如何改进二分查找来应用于自己的场景中，这很值得我们了解学习。

2020-12-08 06:32:04

Kafka 二分查找

《Kafka成神之路》之三图搞懂分区、组消费模式

直接由客户端(任一语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。

2020-12-04 10:31:56

组消费分区 Kafka

基于Kafka+Flink平台化设计，实时数仓还能这样建

本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战。

2020-12-01 15:06:46

Kafka Flink 数据仓库

在边缘处部署Kafka的用例与架构译文

本文通过介绍边缘处Kafka的用例与架构，帮助您更好地了解如何在各个行业中，利用事件流和工具来构建从边缘到云端的物联网架构。

2020-11-17 09:00:00

Kafka 架构物联网

架构师的选择，Pulsar还是Kafka？

在本文中，我将重点介绍Pulsar的优势，并为您提供一些理由，使您对比Kafka来考虑它。

2020-11-14 11:23:18

Pulsar Kafka 架构师

Kafka之消费与心跳

kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。今天小编来领大家一起来学习一下Kafka消费与心跳机制。

2020-11-13 10:58:24

刨根问底,Kafka消息中间件到底会不会丢消息

大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。

2020-11-13 07:14:55

Kafka 消息中间件

记一次生产 Kafka 挂掉的那几分钟

Hello，大家好，我是阿粉，作为一个后端工程师不经历几次生产事故怎么能成长!阿粉工作几年来，大大小小，重要不重要的事故也经历了不少，有损失几十万的，有对业务毫无影响但是不应该发生的，每一次事故都是一次成长，而且从每次的事故中阿粉都能学到很多东西，不单单是解决问题，更重要的是对线上有了更深的敬意!

2020-11-03 07:34:12

Kafka 后端工程师

详解Kafka端到端的延迟

这篇文章将帮助你进一步获得更好的直觉和对端到端延迟的理解，并配置和扩展您的应用程序的吞吐量，同时保持延迟的界限。

2020-10-26 13:51:11

Kafka 数据端到端

如何使用Docker内的Kafka服务？消息服务测试实践篇

Kafka是一种高吞吐量的分布式架构的发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。通常由于高吞吐量的要求而选择通过处理日志数据和日志聚合来解决。

2020-10-24 17:28:04

Docker Kafka服务分布式

漫画讲解Kafka高效的存储设计

索引文件存储大量元数据，数据文件存储大量消息，索引文件中元数据指向对应数据文件中message的物理偏移地址。

2020-10-22 09:37:39

存储 Kafka 设计

面试 | 再有人问Kafka，别说你不会！

Kafka 是一个优秀的分布式消息中间件，许多系统中都会使用到 Kafka 来做消息通信。

2020-10-14 09:04:18

Kafka 系统通信

互联网企业都在用的Kafka为什么可以这么快？

在数据为王的时代，对于海量数据的存储、传输、分析变得尤为重要。在数据的存储上有clickhouse、Hbase等大数据库来完成，在数据的分析上一般也是借助clickhouse或hbase的特性将数据分维度进行，而在数据的传输上，大家都不约而同使用了Kafka。

2020-10-13 17:54:18

开发 Kafka 数据

RabbitMQ七战Kafka，差异立现！

这篇文章会先介绍RabbitMQ和Apache Kafka内部实现的相关概念。紧接着会主要介绍这两种技术的主要不同点以及他们各自的优缺点，最后我们会说明一下怎样选择这两种技术。

2020-10-09 10:25:54

RabbitMQ Kafka Java

Kafka消费与心跳机制

最近有同学咨询Kafka的消费和心跳机制，今天笔者将通过这篇博客来逐一介绍这些内容。

2020-09-30 14:07:05

Kafka 心跳机制 API

Kafka都没整明白，还敢去面试？原创

Apache Kafka 被誉为时下热门的企业级消息传递系统，其初衷是一个分布式流系统，用于发布和订阅记录流，以其快速，高可扩展性以及较完美的容错效果备受业内人士青睐。

2020-09-21 07:12:26

Kafka 面试系统

Kafka设计原理详解

在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器(Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。

2020-09-13 13:26:10

Kafka 消费者控制器

带你入门Kafka，你知道的越多不知道的也越多！

目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。

2020-09-07 06:59:44

Kafka 分布式场景

终于知道Kafka为什么这么快了！

无论 Kafka 作为 MQ 也好，还是作为存储层也罢，无非就是两个功能，一是 Producer 生产的数据存到 Broker，二是 Consumer 从 Broker 读取数据。

2020-08-13 09:19:10

Kafka 存储 MQ

成为 Kafka 高手的秘籍：生产者深度实践总结

kafka 是一款已经发布了近10年的分布式消息队列系统，是一款非常成熟的产品，在各大公司或者产品中或多或少都有他的身影，特别是大数据流处理，log 流处理之类的场景，kafka 更是充当着几乎必不可少的角色。

2020-08-04 10:45:05

运维架构技术

Kafka如何选择合适的分区数，你选对了吗

我们经常会面临这样的问题，在确定某个topic下应该设置多少分区数，有时并不知道应该如何设置，如何评估等。或者别人问你当前kafka集群中，具体的业务topic中分区数是多少，是如何知道需要多少分区或怎么选择比较适合的分区数。

2020-08-04 08:37:23

Kafka 分区数

Kafka 为什么能那么快的 6 个原因

无论 kafka 作为 MQ 也好，作为存储层也罢，无非就是两个功能(好简单的样子)，一是 Producer 生产的数据存到 broker，二是 Consumer 从 broker 读取数据。

2020-07-29 08:06:30

Kafka MQ 消息

上一页 1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营