鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

Kafka

266内容

关注

涵盖Kafka相关研究热点、技术难点与应用场景，了解这一企业级互联网架构核心产品的更多信息。

共 266 条

技术干货分享：HBase数据迁移到Kafka实战

在实际的应用场景中，数据存储在HBase集群中，但是由于一些特殊的原因，需要将数据从HBase迁移到Kafka。正常情况下，一般都是源数据到Kafka，再有消费者处理数据，将数据写入HBase。但是，如果逆向处理，如何将HBase的数据迁移到Kafka呢?

2019-09-16 12:55:27

HBase Kafka 数据

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

在K8S上运行Kafka合适吗？会遇到哪些陷阱？

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。

2019-09-05 09:10:35

Kafka K8S Kubernetes

我以为我对Kafka很了解，直到我看了此文章

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。

2019-08-13 09:29:14

Kafka 运营数据

资深程序员多年总结：解密Kafka吞吐量高的原因

众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。

2019-07-26 15:41:27

程序员技能开发者

Kafka为了追求极致的性能，有这11大优化之处

Kafka在性能优化方面做了哪些举措，这是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。

2019-07-23 09:20:15

Kafka 批量处理客户端

Kafka设计原理看了又忘，忘了又看？

什么是消息队列?简单来说，消息队列是存放消息的容器。客户端可以将消息发送到消息服务器，也可以从消息服务器获取消息。

2019-07-18 09:17:19

Kafka 消息队列服务器

十五个点，理解Apache Kafka

Kafka在世界享有盛名，大部分互联网公司都在使用它，那么它到底是什么呢?让我们一步一步地来理解他，随后深入探讨其工作原理。

2019-07-16 13:15:38

Kafka 分布式数据

两张图读懂kafka应用

kafka将所有消息组织成多个topic的形式存储，而每个topic又可以拆分成多个partition，每个partition又由一个一个消息组成。每个消息都被标识了一个递增序列号代表其进来的先后顺序，并按顺序存储在partition中。

2019-07-16 08:57:15

kafka 应用 Broker

大数据流处理：Flume、Kafka和NiFi对比

在构建大数据流水线时，我们需要考虑处理数据的数量，种类和速度，这些数据通常出现在Hadoop生态系统的入口。

2019-07-05 12:16:26

大数据 IT 互联网

仅需3分钟，你就能明白Kafka的工作原理

周末无聊刷着手机，某宝网 App 突然蹦出来一条消息“为了回馈老客户，女朋友买一送一，活动仅限今天!”。

2019-06-05 09:42:53

Kafka App 消息队列

在Kubernetes上运行Kafka合适吗？

Kubernetes设计的初衷是运行无状态工作负载。这些通常采用微服务架构的工作负载，是轻量级，可水平扩展，遵循十二要素应用程序，可以处理环形断路和随机Monkey测试。

2019-06-03 09:15:15

Kubernetes Kafka 数据库

Java消息队列总结篇（ActiveMQ、RabbitMQ、ZeroMQ、Kafka）

消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。

2019-05-29 14:49:02

Kafka RocketMQ RabbitMQ

17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。

2019-05-21 14:14:18

Kafka RabbitMQ RocketMQ

进击的 Kafka：不止消息队列，新一代流数据处理平台

为数据而生，以 20 世纪最具影响力的作家命名，一个很酷的开源项目——我们说的是Kafka。

2019-05-13 15:06:09

流数据处理

3台廉价机器每秒写入2百万！Kafka为什么那么快？

Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。

2019-05-10 09:47:33

如何在Windows上搭建并运行Kafka 译文

本文将分步骤向您介绍如何在Windows操作系统上安装和运行Apache ZooKeeper和Apache Kafka。

2019-05-09 09:00:00

震惊了，原来这才是Kafka的“真面目”！

Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

2019-05-05 09:24:09

Kafka Topic Partition

Kafka作为大数据的核心技术，你了解多少？

Kafka作为大数据最核心的技术，作为一名技术开发人员，如果你不懂，那么就真的“out”了。DT时代的快速发展离不开kafka，所以了解kafka，应用kafka就成为一种必须。

2019-04-30 14:19:24

Kafka 大数据分布式流平台

Kafka竟然不支持读写分离！今天才知道！

Kafka竟然不支持读写分离！今天才知道！在 Kafka 中，生产者写入消息、消费者读取消息的操作都是与 leader 副本进行交互的，从而实现的是一种主写主读的生产消费模型。数据库、Redis 等都具备主写主读的功能，与此同时还支持主写从读的功能，主写从读也就是读写分离，为了与主写主读对应，这里就以主写从读来称呼!

2019-04-25 15:20:23

Kafka Java 编程语言

Kafka是靠什么机制保持高可靠，高可用的？

面试大厂时，一旦简历上写了 Kafka，几乎必然会被问到一个问题：说说 Acks 参数对消息持久化的影响?

2019-04-25 09:36:18

Kafka 高可靠高可用

高并发架构系列：Kafka、RocketMQ、RabbitMQ的优劣势比较

全量的消息队列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的优劣势比较，以及消息队列的选型。

2019-04-11 10:26:15

架构运维技术

分布式系统Kafka和ES中，JVM内存越大越好吗？

这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM 堆内存大小是越大越好吗?

2019-04-11 09:27:10

突发宕机，Kafka写入的数据如何保证不丢失？

上周分享的一篇文章《Kafka如何实现每秒上百万的超高并发写入?》，相信大家都知道了写入 Kafka 的数据是会落地写入磁盘的，这篇给大家聊下写入 Kafka 的数据该如何保证其不丢失?

2019-03-13 09:27:57

宕机 Kafka 数据

Kafka如何实现每秒上百万的超高并发写入？

这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。

2019-03-06 09:36:12

Kafka 缓存磁盘

Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka

为了满足本系列读者的需求，我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例，向大家介绍在Apache Flink中如何使用Kafka。

2019-01-15 08:50:12

Apache Flin Kafka 分布式

消息中间件Kafka与RabbitMQ谁更胜一筹？

在 IM 这种讲究高并发、高消息吞吐的互联网场景下，MQ 消息中间件是个很重要的基础设施，它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。

2019-01-04 09:59:14

Kafka RabbitMQ MQ

Kafka是如何处理Netflix每天2万亿条消息的？原创

从产生伊始，各类微服务就需要以不同的方式进行彼此通信。

2018-12-25 09:44:42

Netflix Kafka 消息

Apache Kafka与Spark Streaming的两种整合方法及其优缺点译文

我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

Kafka Spark 数据

如何将kafka中的数据快速导入Hadoop？

Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

Kafka Hadoop 代码

Kafka集群内复制功能深入剖析

Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka 分布式数据

Kafka如何做到1秒处理1500万条消息？原创

一位软件工程师将通过本文向您呈现 Apache Kafka 在大型应用中的 20 项最佳实践。

2018-10-11 09:33:51

Kafka 消息处理

Apache Kafka在大型应用中的20项优秀实践译文

一位软件工程师将通过本文向您呈现Apache Kafka在大型应用中的20项最佳实践。Apache Kafka是一款流行的分布式数据流平台，它已经广泛地被诸如New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。

2018-08-30 09:00:00

开源 Apache Kafk 数据流

使用Scala开发Apache Kafka的TOP 20大好用实践

本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。

2018-08-24 13:44:22

数据科学 Apache Kafk 数据速率

Kafka的架构原理，你真的理解吗？

Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统，现在是 Apache 旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。

2018-08-20 08:30:05

Kafka 架构系统

使用Kafka和MongoDB进行Go异步处理

在我前面的博客文章 “我的第一个 Go 微服务：使用 MongoDB 和 Docker 多阶段构建” 中，我创建了一个 Go 微服务示例，它发布一个 REST 式的 http 端点，并将从 HTTP POST 中接收到的数据保存到 MongoDB 数据库。

2018-08-19 09:15:25

MongoDB Go 微服务

阿里大牛实战归纳——Kafka架构原理

Kafka的topic和分区内部是如何存储的，有什么特点？与传统的消息系统相比,Kafka的消费模型有什么优点?Kafka如何实现分布式的数据存储与数据读取?快来看下文吧！

2018-07-26 15:18:41

阿里 Java Kafka架构

Kafka解惑之时间轮 (TimingWheel)

Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。

2018-06-06 10:14:32

Kafka 时间轮任务

Kafka Connect如何实现同步RDS binlog数据?

本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2018-05-14 13:51:39

RDS Binlog 架构 Kafka集群

Kafka的存储机制以及可靠性

kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

2018-05-07 10:20:38

Kafka 存储机制

批处理ETL已死，Kafka才是数据处理的未来？

在 QCon 旧金山会议上，Neha Narkhede 做了“ETL 已死，而实时流长存”的演讲，并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的 Apache Kafka 流处理平台能够提供灵活且统一的框架，支持数据转换和处理的现代需求。

2018-02-27 14:22:38

ETL Kakfa 数据集

Kafka源码系列之以kafka为例讲解分布式存储系统

由于CAP理论在分布式存储系统中，做多只能实现上面两点。而现实环境是很复杂的，比如网络抖动及故障，硬件故障等问题，分区容错是我们必须要实现的。所以我们只能在一致性和可用性之间权衡。

2018-01-25 08:29:28

Kafka 源码存储

决战秋名山!华为云消息队列DMS联手老司机kafka

秋名山的云端，终年云雾弥漫，人迹罕至，但这一切不妨碍它成为竞速者的乐园。在最接近云端三KB的路段，蜿蜒狭长，不可预料，他要求挑战者支持高并发的多线操作，并在电石光火间正确有序地处理浪涌的海量数据。在这条极限赛道上，神车Kafka自七年前出道以来，已经很久没有遇到过对手了。

2017-10-26 19:47:55

KSQL，用于Apache Kafka的流数据SQL引擎

Apache Kafka是一个分布式的、分区的、多复本的日志提交服务，使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。

2017-09-06 16:49:43

KSQL Kafka 数据集

浅谈分布式消息系统 Kafka 设计原理

Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。

2017-08-30 16:47:49

Kafka 设计原理

Apache Kafka：大数据的实时处理时代

本演讲将介绍最近 Apache Kafka 添加的一些系统架构，包括 Kafka Connect 和 Kafka Streams，并且描述一些如何使用它们的实际应用体验。

2017-08-09 13:30:21

大数据 Apache Kafk 实时处理

SparkStreaming与Kafka整合遇到的问题及解决方案

最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。

2017-08-03 09:37:35

SparkStream Kafka Direct

简要分析Kafka Stream有意思的点

Kafka一直缺乏一个商业公司来推动，这个问题现在要稍稍改变一些了，原LinkedIn Kafka作者离职后创业Confluent Inc来推动kafka商业化，并推出Kafka Stream。今天只讲kafka stream几个有意思的点。

2017-08-01 00:52:07

kafka 大数据消息总线

浅谈分布式消息技术Kafka

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2017-07-27 14:32:05

大数据分布式消息 Kafka

Kafka和消息队列之间的超快速比较

Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，可以在许多服务器上进行扩展，并重新播放消息。

2017-07-11 16:19:50

大数据 Kafka 消息队列

上一页 1 2 3 4 5 6 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营