SpringCloud整合MQ实现消息总线服务,实战讲解!

开发 前端
当我们手动更新某个仓库配置文件的时候,想要实现所有客户端同时也自动更新配置,可以利用消息总线来实现节点之间数据的同步变更操作。

一、背景介绍

在之前的文章中,我们介绍了服务配置中心高可用的玩法。了解到,每当修改配置文件内容,如果需要客户端也同步更新,就需要手动调用/refresh接口,以便客户端能获取到最新的配置内容。

当客户端越来越多的时候,通过人工进行处理显然非常鸡肋。有没有一种更加高效的办法,当手动调用其中一个客户端的/refresh接口,其它的客户端也自动更新?

答案是肯定的!

在 Spring Cloud 体系里,有一个叫做 Spring Cloud Bus 模块,也被业界称为消息总线。它可以将分布式系统内的节点以消息代理方式连接起来,开发者可以通过消息代理服务向其它节点传输数据的变更,例如配置文件的更改,也可以用于收集节点监控数据。其中常用的消息代理服务有 RabbitMQ 和 Kafka。

换言之,我们可以借助 Spring Cloud Bus 模块来实现上文介绍的诉求,引入 Spring Cloud Bus 模块后,客户端获取远程配置文件的方式,可以用如下流程图来描述。

图片图片

熟悉 MQ 服务的同学可能一眼就看出来了,其原理就是借助 MQ 服务的发布与订阅功能向其它节点进行广播数据,从而实现客户端自动刷新配置功能。

其交互流程可以用如下内容来概括。

  • 1.当外部请求调用客户端 A 的/refresh接口后,除了主动刷新配置意外,还会通过  Spring Cloud Bus 模块,将刷新配置接口的指令数据发送到 MQ 服务器
  • 2.MQ 服务器会将指令数据通过  Spring Cloud Bus  模块推送给其它客户端
  • 3.客户端 B、C 接收到最新的消息指令后,主动调用刷新配置服务,获取最新的配置内容

下面我们通过具体的例子,结合之前介绍的知识,看看如何利用 Spring Cloud Bus  实现客户端配置文件自动刷新的效果。

三、方案实践

在此,我们采用 RabbitMQ 服务器来搭建消息总线,因此需要事先准备一台可用的 RabbitMQ 服务器,具体的安装教程之前有所介绍,大家也可以百度搜索一下,具体的安装过程就不再重复撰述。

3.1、添加依赖

根据eureka-config-client复制一个服务消费者工程,命名为eureka-config-client-bus,并在pom.xml中引入spring-cloud-starter-bus-amqp依赖包,示例如下:

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-bus-amqp</artifactId>
</dependency>
  • 1.
  • 2.
  • 3.
  • 4.

3.2、添加配置文件

接着,在bootstrap.properties配置文件中添加消息代理相关的属性信息,示例如下:

# 配置rabbitmq服务器地址
spring.rabbitmq.host=127.0.0.1
spring.rabbitmq.port=5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.

3.3、服务测试

然后,依次将eureka-server、eureka-config-server、eureka-config-client-bus (分别在不同的端口上,比如9022、9023) 服务启动起来。访问 eureka 可视化页面,如果服务都正常,可以看到类似于如下的界面。

图片图片

将远程仓库配置文件中的blog.name=hahaha修改成blog.name=hahaha123456,以便测试客户端配置文件是否能自动更新。

接着,向其中一个客户端发送一个/bus/refresh的 POST 请求。

**需要注意的是,这里的路径是/bus/refresh,而不是/refresh**!

图片图片

最后,在浏览器中重新访问另一个客户端读取配置文件的接口,不意外的话,客户端获取的是最新的配置信息。

图片图片

说明客户端已经成功读取到最新的配置内容。

查看客户端的日志,也会看到类似于如下的信息。

Received remote refresh request. Keys refreshed [config.client.version, blog.name]
  • 1.

3.4、WebHook

可能有的同学会发出一个疑问,不可能每次修改仓库的配置文件,自己都需要手动调用/bus/refresh接口吧。

实际上,GIT 里面有个 WebHooks 功能,每次 push 代码后,我们可以利用它给远程 HTTP URL 发送一个 POST 请求,以此省去手动调用的工作。

图片图片

操作非常简单,只需要将其中一个客户端/bus/refresh接口地址添加进去即可。需要注意的是,这里的 HTTP URL 必须是一个能请求通过的公网地址哈!

四、升级版

在以上的方案中,虽然我们利用消息总线实现了手动刷新一个客户端的配置文件更新,其它客户端也同步跟着一起刷新的目的,但在实际的实践过程中,发现还是有一些不便的地方。

例如客户端因为业务的快速迭代会频繁的发布服务,同时也会根据服务的并发量适度的增减服务实例数量,这种情况下,客户端的 IP 和端口会经常发生变动,每次人工运维起来会很繁琐。

因此,我们可以将上面的交互流程改变一下,由服务配置中心通过 Spring Cloud Bus 模块向客户端发送重刷配置文件的指令。

整个流程,可以用如下图来描述。

图片图片

因为服务配置中心基本上很少会去迭代,客户端的 IP 和端口发生变动的可能性较小,由它向客户端推送消息,运维的工作量可以显著的下降。

改造的流程也很简单,只需要两步即可!

3.1、添加依赖

与上文类似,根据eureka-config-server复制一个服务消费者工程,命名为eureka-config-server-bus,并在pom.xml中引入spring-cloud-starter-bus-amqp依赖包,示例如下:

<dependencies>
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-eureka</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-config-server</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.cloud</groupId>
        <artifactId>spring-cloud-starter-bus-amqp</artifactId>
    </dependency>
</dependencies>
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.

4.2、添加配置文件

接着,在application.properties中添加消息代理服务相关的属性,示例如下:

spring.application.name=eureka-config-server
server.port=9020

# 配置git仓库地址
spring.cloud.config.server.git.uri=https://gitee.com/pzblogs/config-demo
spring.cloud.config.server.git.username=
spring.cloud.config.server.git.password=

# 设置与Eureka Server交互的地址,多个地址可使用【,】分隔
eureka.client.serviceUrl.defaultZnotallow=http://localhost:8001/eureka/

# 关闭安全认证
management.security.enabled=false

# 配置rabbitmq服务器地址
spring.rabbitmq.host=127.0.0.1
spring.rabbitmq.port=5672
spring.rabbitmq.username=guest
spring.rabbitmq.password=guest
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 19.

4.3、服务测试

然后,依次将eureka-server、eureka-config-server-bus、eureka-config-client-bus服务启动起来。

接着,修改仓库中的配置文件内容,完成之后,以 POST 方式调用服务配置中心的刷新配置接口,例如http://localhost:9020/bus/refresh。

最后,在浏览器访问客户端http://localhost:9023/hello,不意外的话,能看到最新的信息。

图片图片

五、小结

最后总结一下,当我们手动更新某个仓库配置文件的时候,想要实现所有客户端同时也自动更新配置,可以利用消息总线来实现节点之间数据的同步变更操作。

如果想要用 Kafka 来做消息代理服务,实现思路也类似,将bus-amqp换成bus-kafka,示例子如下

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-bus-kafka</artifactId>
</dependency>
  • 1.
  • 2.
  • 3.
  • 4.

最后在配置文件中添加 Kafka 相关服务地址配置参数即可。

五、参考

  1. http://www.ityouknow.com/springcloud/2017/05/26/springcloud-config-eureka-bus.html
责任编辑:武晓燕 来源: 潘志德技术笔记
相关推荐

2025-04-08 08:50:37

SpringCamel系统

2024-11-04 08:02:23

SpringRabbitMQ中间件

2017-03-20 09:50:35

消息队列架构消息

2024-11-11 10:02:37

Spring搜索数据

2025-01-10 08:20:00

MQ消息架构

2022-06-02 08:21:07

RocketMQ消息中间件

2022-04-27 08:23:34

微服务负载均衡

2019-02-19 15:20:12

消息总线架构异步

2024-11-13 00:59:13

2022-04-09 14:45:02

微服务常见概念Spring

2025-01-13 05:00:00

2022-05-31 08:21:07

MQ使用场景消费消息

2022-05-12 08:21:13

项目网关模块

2025-01-06 08:53:37

2010-06-08 16:00:34

CAN总线协议

2021-06-09 09:42:50

SpringCloud微服务灰度发布

2021-05-17 16:24:58

Spring Clou

2009-06-14 17:18:55

ibmdwWebSphereMQ

2023-06-29 10:10:06

Rocket MQ消息中间件

2023-10-24 07:50:18

消息中间件MQ
点赞
收藏

51CTO技术栈公众号