MQ实战 | RocketMQ不同可用区导致消费不均衡

开发 前端
业务同学反馈有个服务在部署容器后不间断收到积压告警,该服务对积压敏感,影响派单的时效性。原来部署到ECS上的服务没有积压情况,准备往容器迁移。

[[416753]]

一、现象反馈

业务同学反馈有个服务在部署容器后不间断收到积压告警,该服务对积压敏感,影响派单的时效性。原来部署到ECS上的服务没有积压情况,准备往容器迁移。下面是业务同学做的排除测试,另外容器当前在J/K可用区部署,而MQ集群部署在B/G/F区。

  • 回退到原ECS部署积压消失
  • 在原可用区申请扩容ECS未出现积压
  • 在新的可用区J/K申请ECS出现积压

备注: 很明显该积压与可用区有关系。

二、积压监控

在迁移容器的过程中,同时有容器消费和ECS消费的节点,通过分区积压进行对比。

ECS消费分区积压监控

备注: 明显ECS的节点没有什么积压。

容器消费分区积压监控

备注: 积压较多的分区分布在容器节点。

三、可用区耗时监控

J/F可用区延迟

G/B/K可用区延迟

备注: J/K区的延迟比其他可用区多0.5ms左右。

四、解决措施

既然由于可用区延迟引起,可以考虑一下几种措施:

1.将MQ集群迁移到J/K可用区

由于其他可用区还有重要业务,明显不可行。

2.将容器发布部署非J/K可用区

容器可以相对考虑可用区的均衡性,但是难以避免不同可用区混部,也不太可行。

3.提高消费能力 

通过提高部署容器节点和增加消费线程池大小来提高消费能力可以起到立竿见影的效果。

本文转载自微信公众号「瓜农老梁」,可以通过以下二维码关注。转载本文请联系瓜农老梁公众号。

 

责任编辑:武晓燕 来源: 瓜农老梁
相关推荐

2021-09-30 07:26:15

MQ消息丢失

2024-11-14 09:10:13

消费者RocketMQ负载均衡

2022-07-07 09:00:49

RocketMQ消费者消息消费

2018-10-15 10:58:05

分布式存储硬盘

2023-09-26 08:01:46

消费者TopicRocketMQ

2024-09-05 08:07:55

2016-09-19 14:52:12

Hadoophdfs磁盘

2021-02-26 13:59:41

RocketMQProducer底层

2024-11-11 16:29:54

负载均衡器系统

2023-07-26 08:21:33

2010-05-06 16:07:48

Websphere M负载均衡

2011-06-07 11:07:39

路由流量

2024-05-31 08:05:29

2017-05-05 09:30:28

机器学习不均衡分类

2021-12-17 08:17:00

RocketMQ数据结构消息中间件

2024-01-24 09:00:31

SSD订阅关系内存

2024-04-22 00:00:00

RocketMQ优化位点

2023-12-25 19:28:59

RocketMQ大数据

2023-05-16 08:31:09

BrokerReef版本

2013-04-22 11:29:14

Nginx
点赞
收藏

51CTO技术栈公众号