聊一聊系统设计中的消息队列

系统
消息队列是一个持久化组件,存储在内存中,支持异步通信,它充当缓冲区,并分发异步请求。

在一个电商平台系统里,每当客户下订单时,你需要:

  • 处理支付。
  • 更新库存。
  • 发送确认邮件。

在高峰期立即执行所有这些操作,可能会减慢客户的体验。

在这种情况下,我们有大量的应用事件,而无法同时处理所有事件。

消息队列的基本架构

消息队列是一个持久化组件,存储在内存中,支持异步通信。它充当缓冲区,并分发异步请求。

消息队列的基本架构很简单。输入服务称为生产者或发布者,创建并将消息发布到消息队列。其他服务称为消费者或订阅者,连接到队列并执行消息定义的操作。

在实际场景中,可能有许多应用程序写入队列,也有许多服务器从队列读取。

回到例子

在我们的案例中,处理每个任务时,可以将其添加到队列的末尾,然后从这个队列将它们发送到我们的服务器。

  • 订单已下: 订单详细信息放入一条消息中。
  • 消息已发送: 消息被添加到队列中。
  • 工作程序处理: 独立的进程(工作程序)从队列的前端提取消息并处理任务。

我们的服务器确认已接收并处理一条消息,队列则将其移除,以免第二次发送。

使用消息队列的好处

主要优点是我们解耦了这些事件,消息队列允许我们异步处理这些事件。我们可以将它们排队,直到可以处理。

使用消息队列时,当消费者无法处理消息时,生产者可以将消息发布到队列中。

消费者即使在生产者不可用时也可以从队列中读取消息。

另一个很大的好处是它们是持久化的。如果队列崩溃,数据不会丢失,因为它不存储在内存中,而是存储在磁盘上。

如果工作程序在处理消息时崩溃,也没问题!消息仍在队列中,将被另一个工作程序提取。

消息队列还提供了可扩展性。如果接收到大量订单,队列会变得更长。你可以添加更多的工作程序来处理额外的负载,而不影响网站。

不同的队列类型

消息队列有多种类型。最常见的包括:

  • FIFO(先进先出): 就像一个普通的队列,消息按照到达的顺序处理。这对于支付处理等情况非常重要。
  • 优先队列: 某些消息可能比其他消息更重要。你可以优先处理这些消息。

推送与拉取

一些队列等待工作程序请求消息(拉取式队列),而另一些则主动将消息发送给工作程序(推送式队列)。

示例

以下是一些流行的消息队列示例:

  • RabbitMQ: 一种多用途队列,适合多种用例。
  • Kafka: 为高吞吐量和实时数据流设计,适用于日志记录和事件驱动架构。
  • Amazon SQS(简单队列服务): AWS提供的完全托管的基于云的队列服务。它可扩展且可靠,具有延迟队列和死信队列等功能。
责任编辑:赵宁宁 来源: 小技术君
相关推荐

2023-11-17 15:08:24

消息队列大数据

2019-12-02 16:23:03

Python编程语言“垃圾”回收

2020-12-11 11:11:44

原子类JavaCAS

2022-08-30 07:39:57

C++namespace隔离

2024-03-11 07:46:40

React优先级队列二叉堆

2021-01-04 08:09:07

Linux内核Watchdog

2022-03-06 20:35:41

并发串行CAP

2023-07-06 13:56:14

微软Skype

2021-06-30 07:19:35

微服务业务MySQL

2019-12-12 14:52:10

数据库脚本

2022-11-09 08:05:15

JavaScriptsuper()

2020-09-08 06:54:29

Java Gradle语言

2020-01-17 09:07:14

分布式系统网络

2023-09-22 17:36:37

2021-01-28 22:31:33

分组密码算法

2020-05-22 08:16:07

PONGPONXG-PON

2018-07-23 15:28:29

HTTPCookieHeader

2024-03-28 09:02:25

PythonGetattr工具

2020-09-15 12:45:48

系统LinuxUnix

2020-05-12 22:24:44

JVM系统加载器
点赞
收藏

51CTO技术栈公众号