集群中节点之间健康检查

开发 前端
当新的节点加入集群或者集群中有节点下线了,集群之间可以通过健康检查发现。健康检查的频率是怎么样的?节点的状态又是如何变动的?状态的变动又会触发什么动作。带着这些问题本文捋一捋。

[[411449]]

引言

当新的节点加入集群或者集群中有节点下线了,集群之间可以通过健康检查发现。健康检查的频率是怎么样的?节点的状态又是如何变动的?状态的变动又会触发什么动作。带着这些问题本文捋一捋。

一、内容提要

内容提要

健康检查

  • Nacos节点会向集群其他节点发送健康检查心跳,每一轮频率为2秒
  • 当健康检查异常时设置为不信任「SUSPICIOUS」状态,超过失败最大次数3次设置为下线「DOWN」状态
  • 健康检查成功设置该节点为科通信「UP」状态
  • 无论成功还是失败当节点状态变更时均发布MembersChangeEvent事件

成员变更事件

当集群节点成员变更时,MemberChangeListener会收到该事件

例如回调ClusterRpcClientProxy#onEvent触发refresh

刷新本节点与集群中其他节点的RPC状态,关闭无效的或者增加新的RPC连接

二、健康检查

代码翻到ServerMemberManager#onApplicationEvent,在Nacos启动的时候会启动一个定时任务,第一次延迟5秒执行,该定时任务即负责节点之间的心跳。

  1. @Override 
  2. public void onApplicationEvent(WebServerInitializedEvent event) { 
  3.     getSelf().setState(NodeState.UP); 
  4.     if (!EnvUtil.getStandaloneMode()) { // 注解@1 
  5.         GlobalExecutor.scheduleByCommon(this.infoReportTask, 5_000L); 
  6.     } 
  7.     EnvUtil.setPort(event.getWebServer().getPort()); 
  8.     EnvUtil.setLocalAddress(this.localAddress); 
  9.     Loggers.CLUSTER.info("This node is ready to provide external services"); 

注解@1 非单机模式延迟5秒执行,执行的infoReportTask为MemberInfoReportTask。

  1. public abstract class Task implements Runnable { 
  2.      
  3.     protected volatile boolean shutdown = false
  4.      
  5.     @Override 
  6.     public void run() { // 注解@2 
  7.         if (shutdown) { 
  8.             return
  9.         } 
  10.         try { 
  11.             executeBody(); 
  12.         } catch (Throwable t) { 
  13.             Loggers.CORE.error("this task execute has error : {}", ExceptionUtil.getStackTrace(t)); 
  14.         } finally { 
  15.             if (!shutdown) { 
  16.                 after(); 
  17.             } 
  18.         } 
  19.     } 
  20.    

注解@2 看下这个Task执行逻辑,先执行 executeBody(),执行结束后执行after()。

  1. class MemberInfoReportTask extends Task { 
  2.  
  3.     private final GenericType<RestResult<String>> reference = new GenericType<RestResult<String>>() { 
  4.     }; 
  5.  
  6.     private int cursor = 0; 
  7.  
  8.     @Override 
  9.     protected void executeBody() { 
  10.         // ----------注解@1 start--------------- 
  11.        // 获取集群中除了自身以外的其他节点列表 
  12.         List<Member> members = ServerMemberManager.this.allMembersWithoutSelf(); 
  13.         if (members.isEmpty()) { 
  14.             return
  15.         } 
  16.         // 定义一个游标 
  17.         this.cursor = (this.cursor + 1) % members.size(); 
  18.         // 获取每个节信息 
  19.         Member target = members.get(cursor); 
  20.     //-----------注解@1 end----------------- 
  21.         Loggers.CLUSTER.debug("report the metadata to the node : {}", target.getAddress()); 
  22.         // 注解@2 
  23.         final String url = HttpUtils 
  24.                 .buildUrl(false, target.getAddress(), EnvUtil.getContextPath(), Commons.NACOS_CORE_CONTEXT, 
  25.                         "/cluster/report"); 
  26.         try { 
  27.            // 注解@3 
  28.             asyncRestTemplate 
  29.                     .post(url, Header.newInstance().addParam(Constants.NACOS_SERVER_HEADER, VersionUtils.version), 
  30.                             Query.EMPTY, getSelf(), reference.getType(), new Callback<String>() {  
  31.                                 @Override 
  32.                                 public void onReceive(RestResult<String> result) { // 注解@4 
  33.                                     // 注解@5 返回版本不一致 
  34.                                     if (result.getCode() == HttpStatus.NOT_IMPLEMENTED.value() 
  35.                                             || result.getCode() == HttpStatus.NOT_FOUND.value()) { 
  36.                                         // ... 
  37.                                         Member memberNew = target.copy(); 
  38.                                         if (memberNew.getAbilities() != null 
  39.                                                 && memberNew.getAbilities().getRemoteAbility() != null && memberNew 
  40.                                                 .getAbilities().getRemoteAbility().isSupportRemoteConnection()) { 
  41.                                             memberNew.getAbilities().getRemoteAbility() 
  42.                                                     .setSupportRemoteConnection(false); 
  43.                                             update(memberNew); // 更新节点属性 
  44.                                         } 
  45.                                         return
  46.                                     } 
  47.                                     // 注解@6 
  48.                                     if (result.ok()) { 
  49.                                         MemberUtil.onSuccess(ServerMemberManager.this, target); 
  50.                                     } else { 
  51.                                      // 注解@7 处理失败上报 
  52.                                         MemberUtil.onFail(ServerMemberManager.this, target); 
  53.                                     } 
  54.                                 } 
  55.  
  56.                                 @Override 
  57.                                 public void onError(Throwable throwable) { 
  58.                                    // 注解@8 处理失败上报 
  59.                                      MemberUtil.onFail(ServerMemberManager.this, target, throwable); 
  60.                                 } 
  61.  
  62.                                 @Override 
  63.                                 public void onCancel() { 
  64.  
  65.                                 } 
  66.                             }); 
  67.         } catch (Throwable ex) { 
  68.             // ... 
  69.         } 
  70.     } 
  71.  
  72.     @Override 
  73.     protected void after() { 
  74.         GlobalExecutor.scheduleByCommon(this, 2_000L); // 注解@9 
  75.     } 

注解@1 获取集群中除了自身以外的其他节点列表,通过游标循环每个节点。

注解@2 构造每个节点的上报url请求路径为「/cluster/report」

注解@3 发起Post健康检查请求,请求内容为自身信息Member

注解@4 处理健康检查返回结果,有以下三种类型

注解@5 版本过低错误,这个可能在集群中版本不一致出现

注解@6 处理成功上报,更新该节点member的状态为UP表示科通信,设置失败次数为0,并发布成员变更事件

  1. public static void onSuccess(final ServerMemberManager manager, final Member member) { 
  2.     final NodeState old = member.getState(); 
  3.     manager.getMemberAddressInfos().add(member.getAddress()); 
  4.     member.setState(NodeState.UP); // 状态为UP可通信状态 
  5.     member.setFailAccessCnt(0); // 失败次数为0 
  6.     if (!Objects.equals(old, member.getState())) { 
  7.         manager.notifyMemberChange(); // 发布成员变更事件 
  8.     } 

注解@7&注解@8 均为处理失败的上报,例如:集群中一个节点被kill -9 杀掉后。在nacos-cluster.log日志文件中会打印如下日志,并发布成员变更事件

  1. 2021-07-0x 16:30:24,994 ERROR failed to report new info to target node : x.x.x.x:8848, error : caused: Connection refused; 
  2.  
  3. :2021-07-0x 16:30:30,995 ERROR failed to report new info to target node : x.x.x.x:8848, error : caused: Connection refused; 
  1. public static void onFail(final ServerMemberManager manager, final Member member, Throwable ex) { 
  2.     manager.getMemberAddressInfos().remove(member.getAddress()); 
  3.     final NodeState old = member.getState(); 
  4.  
  5.     // 设置该节点为「不信任」 
  6.     member.setState(NodeState.SUSPICIOUS); 
  7.     // 失败次数递增+1 
  8.     member.setFailAccessCnt(member.getFailAccessCnt() + 1); 
  9.     // 默认最大失败重试次数为3 
  10.     int maxFailAccessCnt = EnvUtil.getProperty("nacos.core.member.fail-access-cnt"Integer.class, 3); 
  11.  
  12.     // If the number of consecutive failures to access the target node reaches 
  13.     // a maximum, or the link request is rejected, the state is directly down 
  14.     // 超过重试次数设置节点状态为「下线」 
  15.     if (member.getFailAccessCnt() > maxFailAccessCnt || StringUtils 
  16.             .containsIgnoreCase(ex.getMessage(), TARGET_MEMBER_CONNECT_REFUSE_ERRMSG)) { 
  17.         member.setState(NodeState.DOWN); 
  18.     } 
  19.  
  20.     if (!Objects.equals(old, member.getState())) { 
  21.         manager.notifyMemberChange(); // 发布成员变更事件 
  22.     } 

被kill -9 杀掉的节点显示状态为下线DOWN

注解@9 执行完executeBody后延迟2秒继续执行executeBody,也就是检查健康检查的心跳频率为2秒,一轮全部节点检查结束后延迟2秒接着下一轮

无论检查成功还是失败,当节点状态变更时,发布成员变更事件。

  1. if (!Objects.equals(old, member.getState())) { 
  2.     manager.notifyMemberChange(); 
  3.  
  4. void notifyMemberChange() { 
  5.     NotifyCenter.publishEvent(MembersChangeEvent.builder().members(allMembers()).build()); 

小结: Nacos节点会向集群其他节点发送健康检查心跳,每一轮频率为2秒;当健康检查异常时设置为不信任「SUSPICIOUS」状态,超过失败最大次数3次设置为下线「DOWN」状态;健康检查成功设置该节点为科通信「UP」状态;无论成功还是失败当节点状态变更时均发布MembersChangeEvent事件。

三、成员变更事件

当集群中有节点下线或者新节点上线都会通过心跳健康检查探测对节点状态进行改变。而状态的变更均会触发成员变更事件MembersChangeEvent。那订阅到这个事件干啥呢?

ClusterRpcClientProxy继承了MemberChangeListener,当有MembersChangeEvent事件时会回调其onEvent方法。

  1. @Override 
  2. public void onEvent(MembersChangeEvent event) { 
  3.     try { 
  4.         List<Member> members = serverMemberManager.allMembersWithoutSelf(); 
  5.         refresh(members); 
  6.     } catch (NacosException e) { 
  7.         // ... 
  8.     } 

那接着看refresh方法。

  1. private void refresh(List<Member> members) throws NacosException { 
  2.  
  3.     for (Member member : members) { 
  4.         if (MemberUtil.isSupportedLongCon(member)) { 
  5.             // 注解@10 
  6.             createRpcClientAndStart(member, ConnectionType.GRPC); 
  7.         } 
  8.     } 
  9.     Set<Map.Entry<String, RpcClient>> allClientEntrys = RpcClientFactory.getAllClientEntries(); 
  10.     Iterator<Map.Entry<String, RpcClient>> iterator = allClientEntrys.iterator(); 
  11.     List<String> newMemberKeys = members.stream().filter(a -> MemberUtil.isSupportedLongCon(a)) 
  12.             .map(a -> memberClientKey(a)).collect(Collectors.toList()); 
  13.     // 关闭旧的grpc连接 
  14.     while (iterator.hasNext()) { 
  15.         Map.Entry<String, RpcClient> next1 = iterator.next(); 
  16.         if (next1.getKey().startsWith("Cluster-") && !newMemberKeys.contains(next1.getKey())) { 
  17.             Loggers.CLUSTER.info("member leave,destroy client of member - > : {}", next1.getKey()); 
  18.             RpcClientFactory.getClient(next1.getKey()).shutdown(); 
  19.             iterator.remove(); 
  20.         } 
  21.     } 
  22.  

注解@10 为集群中每个节点member创建rcp client,在client启动时会先目标节点发送HealthCheckRequest,如果非健康节点将会被移除。见RpcClient类部分代码。

  1. boolean isHealthy = healthCheck(); 
  2. // 非健康节点 
  3. if (!isHealthy) { 
  4.     if (currentConnection == null) { 
  5.         continue
  6.     } 
  7.     LoggerUtils.printIfInfoEnabled(LOGGER, 
  8.             "[{}]Server healthy check fail,currentConnection={}"name
  9.             currentConnection.getConnectionId()); 
  10.     // 标记客户端状态为unhealthy 
  11.     rpcClientStatus.set(RpcClientStatus.UNHEALTHY); 
  12.     // 重置ReconnectContext移除serverInfo 
  13.     reconnectContext = new ReconnectContext(nullfalse); 

这个意味着如果集群中有节点下线,与下线节点的rpc将会失效;同样如果集群中有新节点加入将会建立新的rpc通道。

小结: 当集群节点成员变更时,MemberChangeListener会收到该事件。例如回调ClusterRpcClientProxy#onEvent触发refresh。刷新本节点与集群中其他节点的RPC状态,关闭无效的或者增加新的RPC连接。

本文转载自微信公众号「瓜农老梁」,可以通过以下二维码关注。转载本文请联系瓜农老梁公众号。

 

 

责任编辑:武晓燕 来源: 瓜农老梁
相关推荐

2023-03-03 08:19:35

KubernetesgRPC

2023-03-02 07:20:10

GRPC服务健康检查协议

2023-03-01 08:33:37

gRPC健康检查代码

2017-08-25 10:20:46

Docker容器机制

2020-12-07 06:29:13

SpringBoot

2023-05-09 07:34:25

Docker健康检查方式

2023-10-14 15:36:14

PodKubernetes

2024-02-27 17:30:11

2021-01-15 05:38:28

ASPHttp端口

2022-09-07 09:19:49

Docker健康检查

2021-04-18 10:34:28

Spring Clou邮件钉钉

2021-09-18 16:10:48

Spring BootJava微服务

2022-02-28 07:40:23

Nacos注册中心客户端

2021-08-02 07:57:03

注册Nacos源码

2021-07-05 06:51:41

Nacos微服务源码

2021-09-21 16:31:56

Windows 11微软PC健康检查工具

2024-10-31 15:16:35

2015-07-17 10:25:43

kubernetesDocker集群系统

2021-09-22 23:08:50

Windows 11Windows微软

2012-08-03 11:21:50

应用交付深信服
点赞
收藏

51CTO技术栈公众号