如何在 .NET 中使用 Kafka-kafka c++

本文转载自微信公众号「码农读书」，作者码农读书。转载本文请联系码农读书公众号。

Kafka 是一个开源的，分布式的，可扩展的，高性能的发布订阅模式的消息中间件，如果你要构建一个处理海量数据的系统，那么 Kafka 将会是一个非常好的选择，这篇文章我们将会讨论如何基于 Kakfa 构建一个发布订阅模式的程序。

Kafka 架构

这一节中，先来看看 Kafka 的基础架构以及相关术语，大体来说 Kafka 由下面几个组件组成。

Kafka Cluster 一个或者多个服务器组成的集群
Producer 一个用于发布消息的组件。
Consumer 一个用于获取并处理消息的组件。
ZooKeeper 一个中心化的协调组件，常用于保存分布式环境下各个节点的配置信息。

在 Kafka 中，数据的基本单元是 message，它是一个 key-value 键值对，kafka 会将所有的 message 转换为 byte[]，值得注意的是：生产者和消费者以及 cluster 集群之间都是采用 tcp 协议通讯的，kafka 集群中的每一台机器都被称为代理(broker)，你可以非常容易的向集群添加机器实现容量的横向扩展。

下面的图展示了 kafka 的基础架构。

kafka 中的 topic 表示 message 的逻辑集合，如果不明白的话，你可以认为 topic 就是 category (分类)，category 下自然就是归类的 message，这些 message 是由生产者产生。

kafka server 中会包含一个或者多个 topics，每一个 topics 又可以包含一个或者多个 partitions(分区)，partition 被定义为一个有序的消息序列，值得注意的是 partitions 是 kafka 能够动态扩展的关键，换句话说 partition 可以分布在多个 kafka server 上,具体操作流程为：kafka 中的生产者将 message 推送到指定的 topic，订阅该 topic 的消费者就可以拿到该消息。

Kafka 和 RabbitMQ 比较

Kafka 和 RabbitMQ 都是非常流行的，开源的消息中间件，那什么时候应该选择 Kakfa 而不是 RabbitMQ 呢?主要考虑如下几点。

RabbitMQ 是由高性能语言 Erlang 编写的，它拥有丰富的路由机制和强大的消息确认机制，同时 RabbitMQ 还提供了一个可视化的 WebUI 界面，可以通过它监视 RabbitMQ 的运行状态，但如果你有大规模部署的需求，RabbitMQ 就没有 Kafka 好使了，因为后者的扩容只需要增加 partitions 就可以了。
RabbitMQ Cluster 会存在经典的脑裂问题，需要使用单独的插件支持(federations)。
Kafka 在性能上远超 RabbitMQ，单节点的 Kafka 能够处理 10w/s 条记录，而 RabbitMQ 大概只能处理 2w/s 条记录。

构建生产者和消费者

这一节我们来讨论如何为 Kafka 构建生产者和消费者，这就需要构建两个 Console 程序分别充当各自角色，大家可以用 nuget 安装一下 kafka-net，命令如下：

Install-Package kafka-net

构建生产者 Console

static void Main(string[] args) 
        { 
            string payload ="Welcome to Kafka!"; 
            string topic ="IDGTestTopic"; 
            Message msg = new Message(payload); 
            Uri uri = new Uri("http://localhost:9092"); 
            var options = new KafkaOptions(uri); 
            var router = new BrokerRouter(options); 
            var client = new Producer(router); 
            client.SendMessageAsync(topic, new List<Message> { msg }).Wait(); 
            Console.ReadLine(); 
        }

构建消费者 Console

static void Main(string[] args) 
        { 
            string topic ="IDGTestTopic"; 
            Uri uri = new Uri("http://localhost:9092"); 
            var options = new KafkaOptions(uri); 
            var router = new BrokerRouter(options); 
            var consumer = new Consumer(new ConsumerOptions(topic, router)); 
            foreach (var message in consumer.Consume()) 
            { 
                Console.WriteLine(Encoding.UTF8.GetString(message.Value)); 
            } 
            Console.ReadLine(); 
        }

最后可以依次将生产者和消费者程序启动起来，然后你就会看到消费者 Console 上显示：Welcome to Kafka! 。

其实在开源世界中有太多的消息中间件，比如：RabbitMQ, MSMQ, IBM MQ Series 等等，现在的 Kafka 不仅仅是消息中间件了，而是用于大数据的流式处理平台，Kafka 也常常用于 IOT 程序，日志聚合和其他低延迟，强消息保证等场景，如果你的应用程序需要一个快速并可扩展的消息中间件，kafka 将会是一个非常好的选择，后续我会分享更多的关于 kafka 的文章。

译文链接：https://www.infoworld.com/article/3215165/how-to-use-apache-kafka-messaging-in-net.html