Spring Cloud Stream 使用延迟消息实现定时任务(RabbitMQ)

开发 开发工具
我们在使用一些开源调度系统(比如:elastic-job等)的时候,对于任务的执行时间通常都是有规律性的,可能是每隔半小时执行一次,或者每天凌晨一点执行一次。

 应用场景

我们在使用一些开源调度系统(比如:elastic-job等)的时候,对于任务的执行时间通常都是有规律性的,可能是每隔半小时执行一次,或者每天凌晨一点执行一次。然而实际业务中还存在另外一种定时任务,它可能需要一些触发条件才开始定时,比如:编写博文时候,设置2小时之后发送。对于这些开始时间不确定的定时任务,我们也可以通过Spring Cloud Stream来很好的处理。

为了实现开始时间不确定的定时任务触发,我们将引入延迟消息的使用。RabbitMQ中提供了关于延迟消息的插件,所以本文就来具体介绍以下如何利用Spring Cloud Stream以及RabbitMQ轻松的处理上述问题。

动手试试

插件安装

关于RabbitMQ延迟消息的插件介绍可以查看官方网站:https://www.rabbitmq.com/blog/2015/04/16/scheduling-messages-with-rabbitmq/

安装方式很简单,只需要在这个页面:http://www.rabbitmq.com/community-plugins.html 中找到rabbitmq_delayed_message_exchange插件,根据您使用的RabbitMQ版本选择对应的插件版本下载即可。

注意:只有RabbitMQ 3.6.x以上才支持

在下载好之后,解压得到.ez结尾的插件包,将其复制到RabbitMQ安装目录下的plugins文件夹。

然后通过命令行启用该插件:

  1. rabbitmq-plugins enable rabbitmq_delayed_message_exchange 

该插件在通过上述命令启用后就可以直接使用,不需要重启。

另外,如果您没有启用该插件,您可能为遇到类似这样的错误:

  1. ERROR 156 --- [ 127.0.0.1:5672] o.s.a.r.c.CachingConnectionFactory : Channel shutdown: connection error; protocol method: #method(reply-code=503, reply-text=COMMAND_INVALID - unknown exchange type 'x-delayed-message', class-id=40, method-id=10) 

应用编码

下面通过编写一个简单的例子来具体体会一下这个属性的用法:

  1. @EnableBinding(TestApplication.TestTopic.class) 
  2. @SpringBootApplication 
  3. public class TestApplication { 
  4.  
  5.     public static void main(String[] args) { 
  6.         SpringApplication.run(TestApplication.class, args); 
  7.     } 
  8.  
  9.     @Slf4j 
  10.     @RestController 
  11.     static class TestController { 
  12.  
  13.         @Autowired 
  14.         private TestTopic testTopic; 
  15.  
  16.         /** 
  17.          * 消息生产接口 
  18.          * 
  19.          * @param message 
  20.          * @return 
  21.          */ 
  22.         @GetMapping("/sendMessage"
  23.         public String messageWithMQ(@RequestParam String message) { 
  24.             log.info("Send: " + message); 
  25.             testTopic.output().send(MessageBuilder.withPayload(message).setHeader("x-delay", 5000).build()); 
  26.             return "ok"
  27.         } 
  28.  
  29.     } 
  30.  
  31.     /** 
  32.      * 消息消费逻辑 
  33.      */ 
  34.     @Slf4j 
  35.     @Component 
  36.     static class TestListener { 
  37.  
  38.         @StreamListener(TestTopic.INPUT) 
  39.         public void receive(String payload) { 
  40.             log.info("Received: " + payload); 
  41.         } 
  42.  
  43.     } 
  44.  
  45.     interface TestTopic { 
  46.  
  47.         String OUTPUT = "example-topic-output"
  48.         String INPUT = "example-topic-input"
  49.  
  50.         @Output(OUTPUT
  51.         MessageChannel output(); 
  52.  
  53.         @Input(INPUT) 
  54.         SubscribableChannel input(); 
  55.  
  56.     } 
  57.  

内容很简单,既包含了消息的生产,也包含了消息消费。在/sendMessage接口的定义中,发送了一条消息,一条消息的头信息中包含了x-delay字段,该字段用来指定消息延迟的时间,单位为毫秒。所以上述代码发送的消息会在5秒之后被消费。在消息监听类TestListener中,对TestTopic.INPUT通道定义了@StreamListener,这里会对延迟消息做具体的逻辑。由于消息的消费是延迟的,从而变相实现了从消息发送那一刻起开始的定时任务。

在启动应用之前,还要需要做一些必要的配置,下面分消息生产端和消费端做说明:

消息生产端

  1. spring.cloud.stream.bindings.example-topic-output.destination=delay-topic 
  2. spring.cloud.stream.rabbit.bindings.example-topic-output.producer.delayed-exchange=true 

注意这里的一个新参数spring.cloud.stream.rabbit.bindings.example-topic-output.producer.delayed-exchange,用来开启延迟消息的功能,这样在创建exchange的时候,会将其设置为具有延迟特性的exchange,也就是用到上面我们安装的延迟消息插件的功能。

消息消费端

  1. spring.cloud.stream.bindings.example-topic-input.destination=delay-topic 
  2. spring.cloud.stream.bindings.example-topic-input.group=test 
  3. spring.cloud.stream.rabbit.bindings.example-topic-input.consumer.delayed-exchange=true 

在消费端也一样,需要设置spring.cloud.stream.rabbit.bindings.example-topic-output.producer.delayed-exchange=true。如果该参数不设置,将会出现类似下面的错误:

  1. ERROR 9340 --- [ 127.0.0.1:5672] o.s.a.r.c.CachingConnectionFactory       : Channel shutdown: channel error; protocol method: #method<channel.close>(reply-code=406, reply-text=PRECONDITION_FAILED - inequivalent arg 'type' for exchange 'delay-topic' in vhost '/': received 'topic' but current is ''x-delayed-message'', class-id=40, method-id=10) 

完成了上面配置之后,就可以启动应用,并尝试访问localhost:8080/sendMessage?message=hello接口来发送一个消息到MQ中了。此时可以看到类似下面的日志:

  1. 2019-01-02 23:28:45.318  INFO 96164 --- [ctor-http-nio-3] c.d.s.TestApplication$TestController     : Send: hello 
  2. 2019-01-02 23:28:45.328  INFO 96164 --- [ctor-http-nio-3] o.s.a.r.c.CachingConnectionFactory       : Attempting to connect to: [localhost:5672] 
  3. 2019-01-02 23:28:45.333  INFO 96164 --- [ctor-http-nio-3] o.s.a.r.c.CachingConnectionFactory       : Created new connection: rabbitConnectionFactory.publisher#5c5f9a03:0/SimpleConnection@3278a728 [delegate=amqp://guest@127.0.0.1:5672/, localPort= 53536] 
  4. 2019-01-02 23:28:50.349  INFO 96164 --- [ay-topic.test-1] c.d.stream.TestApplication$TestListener  : Received: hello 

从日志中可以看到,Send: hello和Received: hello两条输出之间间隔了5秒,符合我们上面编码设置的延迟时间。

深入思考

在代码层面已经完成了定时任务,那么我们如何查看延迟的消息数等信息呢?

此时,我们可以打开RabbitMQ的Web控制台,首先可以进入Exchanges页面,看看这个特殊exchange,具体如下:

 

可以看到,这个exchange的Type类型是x-delayed-message。点击该exchange的名称,进入详细页面,就可以看到更多具体信息了:

 

代码示例

本文示例读者可以通过查看下面仓库的中的stream-delayed-message项目:

Github

Gitee

责任编辑:武晓燕 来源: 51CTO专栏
相关推荐

2023-12-07 18:02:38

RabbitMQ异步通信

2012-02-07 13:31:14

SpringJava

2021-12-08 10:47:35

RabbitMQ 实现延迟

2022-03-23 11:45:39

Quartz数据库节点

2024-10-15 16:41:35

2009-10-28 10:05:29

Ubuntucrontab定时任务

2024-05-13 09:49:30

.NETQuartz库Cron表达式

2024-11-04 16:01:01

2020-12-21 07:31:23

实现单机JDK

2023-12-19 08:09:06

Python定时任务Cron表达式

2023-12-11 09:50:35

Linux定时器

2022-08-15 15:43:29

Linuxcron

2024-01-22 08:53:00

策略任务RocketMQ

2024-05-31 13:07:29

.NET Core定时任务编程

2024-01-31 08:38:57

Python定时任务函数

2024-02-26 11:12:33

定时任务线程

2021-11-22 12:35:40

Python命令定时任务

2023-08-08 08:35:28

web框架Hosting模块

2010-03-10 15:47:58

crontab定时任务

2024-02-28 09:54:07

线程池配置
点赞
收藏

51CTO技术栈公众号