鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1378内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 118 条

【C语言进阶篇】看完这篇结构体文章，我向数据结构又进了一大步！(结构体进阶详解)

结构体可以说是我们应用非常广泛的了，不管是以后的数据结构学习还是普通项目的应用！今天我们就来先揭开结构体的面纱来一举窥探结构体的奥秘！

2024-01-24 23:12:56

C语言数据结构结构体

【C语言高阶篇】结构体 —— 什么是内存对齐？

C语言结构体的知识点我们在面试的时候最重要就是，关于内存对齐这方面的知识点了。今天就带你去一探究竟，深度解析结构体的内存对齐到底是什么！

2024-01-08 23:01:12

内存对齐插入图片嵌套

如何设计一个高效的分布式日志服务平台

本文介绍了分布式服务下日志服务建设的挑战、下业内ELK的通用解决方案及与天眼日志服务的差异性、天眼日志服务平台的整体架构，以及对日志服务与大模型进行结合，不断探索效能的提升。

2023-06-20 10:26:50

日志采集分布式服务平台

深入理解Elasticsearch的分布式架构

Elasticsearch是一种广泛用于全文搜索和分析的开源搜索引擎，它采用分布式架构，允许在多个节点上进行水平扩展，以处理大量数据。本文将介绍如何设置Elasticsearch集群和节点、管理数据迁移和恢复。通过对Elasticsearch分布式架构的深入理解，您将能够更好地管理和优化Elasticsearch集群，以提高性能和可用性。

2023-02-20 09:29:03

Elastic 离线数据

技术分享| Etcd如何实现分布式负载均衡及分布式通知与协调

Etcd是一个高度一致的分布式键值存储，它提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据。Etcd比较多的应用场景是用于服务注册与发现（前面文章已经介绍过），除此之外，也可用于键值对存储，应用程序可以读取和写入Etcd中的数据（类似于内存数据库redis），还可用于分布式系统系统的消息发布与订阅，分布式的通知与协调，以及分布式系统中的负载均衡等等。消息发布与订阅在分布式系统中，最适

2022-11-15 10:40:52

负载均衡分布式系统 etcd

vivo 基于 JaCoCo 的测试覆盖率设计与实践

本文主要介绍vivo内部研发平台使用Jacoco实现测试覆盖率的实践，包括Jacoco原理介绍以及在实践过程中遇到的新增代码覆盖率统计问题和频繁发布导致覆盖率丢失问题的解决办法。

2022-08-29 09:02:46

DevOps Jacoco 测试覆盖率

SpringBoot集成RabbitMQ

主页:小王叔叔的博客欢迎来访 SpringBoot集成RabbitMQ

2022-05-20 17:25:42

RabbitMQ SpringBoot 消息中间件

图文并茂！深入了解RocketMQ的过期删除机制

大家好，我是Leo。今天聊一下RocketMQ的文件过期删除机制本章概括源码定位Broker是RocketMQ的核心，提供了消息的接收，存储，拉取等功能我们可以先从Broker服务入手。从源码可以得知。RocketMQ启用了一个 BrokerController 的 start 函数public static void main(String[] args) { start(

2022-05-06 14:55:00

RocketMQ RocketMQ过期删 RocketMQ恢复机

基于 Kafka 的实时数仓在搜索的实践应用

Apache Kafka 作为一个热门消息队列中间件，具备高效可靠的消息处理能力，且拥有非常广泛的应用领域。文章介绍基于 Kafka 的实时数仓在搜索的实践应用。

2022-02-28 11:20:47

数据 kafka 消息队列

#yyds干货盘点# git实用基础教程（分布式版本管理）

简单易上手！几步教你使用git管理项目分支，连接远程仓库

2022-01-12 18:28:29

git 分布式管理 GitHub

Dubbo | Dubbo快速上手笔记 - 环境与配置 #yyds干货盘点#

@TOC(Dubbo快速上手笔记环境与配置)前言比较基础的dubbo学习笔记，一些参考资料如下：尚硅谷Dubbo教程(dubbo经典之作)(https://www.bilibili.com/video/BV1ns411c7jV)Dubbo官网(https://dubbo.apache.org/zh/)Dubbo2.x文档(https://dubbo.apache.org/zh/docsv2.7/u

2021-12-18 15:39:13

dubbo 面试提供者

关于 RocketMQ ClientID 相同引发的消息堆积的问题

首先，造成这个问题的BUGRocketMQ官方已经在3月16号的这个提交(https://github.com/apache/rocketmq/commit/44736c3760b9caa0aad21b8df7a3e53bebfd07b8)中修复了，这里只是探讨一下在修复之前造成问题的具体细节，更多的上下文可以参考我之前写的《RocketMQConsumer启动时都干了些啥？》(https://m

2021-11-23 15:32:40

RocketMQ 源码解析消息队列

RocketMQ Consumer 启动时都干了些啥？

可能我们对RocketMQ的消费者认知乍一想很简单，就是一个拿来消费消息的客户端而已，你只需要指定对应的Topic和ConsumerGroup，剩下的就是只需要：接收消息处理消息就完事了。!简略消费模型(https://s4.51cto.com/images/blog/202111/04122641_618361012f8c149022.jpg?xossprocess=image/watermar

2021-11-04 12:27:30

缓存客户端实例化

Spring Cloud Gateway 雪崩了，我 TM 人傻了

本系列是我TM人傻了系列第六期捂脸，往期精彩回顾：升级到Spring5.3.x之后，GC次数急剧增加，我TM人傻了(https://zhuanlan.zhihu.com/p/397042565)这个大表走索引字段查询的SQL怎么就成全扫描了，我TM人傻了(https://zhuanlan.zhihu.com/p/397271448)获取异常信息里再出异常就找不到日志了，我TM人傻了(https:/

2021-09-27 21:41:12

Spring Cloud Gateway 没有链路信息，我 TM 人傻了（中）

本系列是我TM人傻了系列第五期捂脸，往期精彩回顾：升级到Spring5.3.x之后，GC次数急剧增加，我TM人傻了(https://zhuanlan.zhihu.com/p/397042565)这个大表走索引字段查询的SQL怎么就成全扫描了，我TM人傻了(https://zhuanlan.zhihu.com/p/397271448)获取异常信息里再出异常就找不到日志了，我TM人傻了(https:/

2021-09-25 16:39:57

Percolator模型及其在TiKV中的实现

本文主要介绍一种分布式事务模型Percolator的原理及其在TiKV中的实现。

2021-09-22 11:22:37

Percolator 数据数据库

源码解读Dubbo分层设计思想

Dubbo是一款非常优秀的分布式服务框架，国内使用非常的广泛，2018年正式成为apache顶级项目。阅读本文你将了解到Dubbo的整体分层设计，每一层的意义，以及Dubbo的初始化流程和RPC调用过程，在这个过程涉及到的领域模型Protocol、Invoker、Exporter、Invocation、Result、URL等。本文的特点在于结合源码详细的介绍每一层的实际意义。

2021-09-14 09:13:41

Apache Dubbo SPI

ceph笔记之用户权限，挂载brd/cephfs及mds高可用

用户权限管理挂载rbd ceph radosgw(RGW)对象存储删除存储池 Ceph-FS 文件存储 MDS高可用

2021-08-26 22:17:30

ceph Ubuntu brd

NameServer 核心原理解析

在之前的文章(https://mp.weixin.qq.com/s/6pBlK_h0PEHfFXjXFgqMDQ)中，已经把Broker、Producer和Conusmer的部分源码和核心的机制介绍的差不多了，但是其实RocketMQ中还有一个比较关键但是我们平时很容易忽略的组件——NameServer。在日常的使用中，我们接触的最多的还是Producer和Consumer，而NameServer

2021-08-23 11:19:31

RocketMQ NameServer

Ubuntu系统用ceph-deploy部署ceph

1. ceph的组件和功能 2. ceph的数据读写流程 3. 使用ceph-deploy部署ceph集群 4. 测试上传与下载数据

2021-08-22 22:28:26

ubuntu ceph ceph-deploy

深入了解Zookeeper核心原理

深入了解 Zookeeper 的核心原理

2021-08-04 09:55:50

Zookeeper ZAB协议

Zookeeper原理解析&使用场景详解

### 简单了解Zookeeper > Tips: 如果之前对Zookeeper不了解的话，这里大概留个印象就好了 Zookeeper是一个分布式协调服务，可以用于元数据管理、分布式锁、分布式协调、发布订阅、服务命名等等。例如，**Kafka**...

2021-08-02 09:44:31

Zookeeper 分布式

RocketMQ基础概念剖析&源码解析

深入剖析 RocketMQ 的底层原理

2021-07-28 10:39:43

RocketMQ 源码解析消息队列

从RocketMQ的Broker源码层面验证一下这两个点

> 本篇博客会从源码层面，验证在[RocketMQ基础概念剖析，并分析一下Producer的底层源码](https://mp.weixin.qq.com/s/tTlLsHpdAiRnlnzrnCusAw)中提到的结论，分别是： > > - Broker在启动时，会将自己注册到所有的NameServer上 > - Broker在启动之后，会每隔30S向NameServer发送心跳之前的文章中

2021-07-26 10:32:11

消息队列 RocketMQ Broker

灵活运用分布式锁解决数据重复插入问题

分布式系统不可避免会遇到一些并发场景下的数据冲突，例如读写不一致、数据重复插入等。本文介绍一次典型的在分布式环境下，运用分布式锁解决数据重复插入问题的案例，详细地剖析了造成问题的原因和解决方案的探索。

2021-07-26 09:44:29

分布式锁并发冲突

RocketMQ基础概念剖析，并分析一下Producer的底层源码

RocketMQ基础概念剖析，并分析一下Producer的底层源码

2021-07-23 10:06:22

RocketMQ 源码分析 Producer

从源码分析Hystrix工作机制

本文从源码角度分析了Hystrix熔断、隔离、健康统计等核心模块的实现原理，加强对底层原理的理解可以更加便捷的使用它。

2021-07-19 10:24:11

Hystrix 源码分析熔断

万字长文解密数据异构最佳实践（含完整代码实现）！！

在当今互联网行业，尤其是现在分布式、微服务开发环境下，为了提高搜索效率，以及搜索的精准度，会大量使用Redis、Memcached等NoSQL数据库，也会使用大量的Solr、Elasticsearch等全文检索服务。那么，这个时候，就会有一个问题需要我们来思考和解决：那就是数据同步的问题！

2021-07-04 20:38:31

数据异构数据同步 Canal

一次 RocketMQ 顺序消费延迟的问题定位

# 一次 RocketMQ 顺序消费延迟的问题定位 ## 问题背景与现象昨晚收到了应用报警，发现线上某个业务消费消息延迟了 54s 多（从消息发送到MQ 到被消费的间隔）： ``` 2021-06-30T23:12:46.756 message processing is incredibly delayed! (Current delay time: 54725, incredible d

2021-07-01 19:14:44

RocketMQ 消息队列顺序消费

【分布式技术专题】带你分析认识缓存穿透/雪崩/击穿

## 使用场景 > **减低后端负载：对高消耗的SQL结果进行缓存，例如join结果集/分组统计结果** ## 加速请求响应 > **大量写合并为批量写，如计数器先Redis累加再批量写到DB** ## 缓存更新策略 - **LRU(Least Recently Used)，根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高，则延迟其淘汰

2021-06-12 15:45:48

缓存分布式缓存击穿

Spring Cloud 升级之路 - 2020.0.x - 7. 使用 Spring Cloud

本项目代码地址：https://github.com/HashZhang/spring-cloud-scaffold/tree/master/spring-cloud-iiford我们使用SpringCloud官方推荐的SpringCloudLoadBalancer作为我们的客户端负载均衡器。上一节我们了解了SpringCloudLoadBalancer的结构，接下来我们来说一下我们在使用Spri

2021-05-29 13:38:05

Spring Cloud 升级之路 - 2020.0.x - 5. 理解 NamedContextF

spring-cloud-commons中参考了spring-cloud-netflix的设计，引入了NamedContextFactory机制，一般用于对于不同微服务的客户端模块使用不同的子ApplicationContext进行配置。spring-cloud-commons是SpringCloud对于微服务基础组件的抽象。在一个微服务中，调用微服务A与调用微服务B的配置可能不同。比较简单的例子

2021-05-26 10:17:11

这个好用的分布式应用配置中心，我们把它开源了

在分布式环境下，众多的实例集群下，动态的实例迁移等情况时常发生，导致配置管理的工作变得复杂且困难，百度研发团队通过多年的架构建设经验，把过往的配置管理的相关经验沉淀成一套通用的解决方案，现以开源的方式回馈给社区开发者，希望帮助大家彻底解决配置建设的难题。

2021-05-13 14:35:03

前端服务器分布式

Spring Cloud 升级之路 - 2020.0.x - 4. 使用 Eureka 作为注册中心

Eureka目前的状态：Eureka目前1.x版本还在更新，但是应该不会更新新的功能了，只是对现有功能进行维护，升级并兼容所需的依赖。Eureka2.x已经胎死腹中了。但是，这也不代表Eureka就是不能用了。如果你需要一个简便易于部署的注册中心，Eureka还是一个很好的选择。云服务环境中，基本上所有实例地址和微服务名称都在不断变化，也并不太需要Eureka所缺少的持久化特性。当你的集群属于中小

2021-05-10 18:29:29

spring clou eureka

Tars-Java客户端源码分析

Tars是基于名字服务使用Tars协议的RPC开发框架，配套一个服务治理平台，帮助开发者快速构建一个分布式应用。其中Tars客户端支持C++，Java，Go等语言，方便各个语言程序互相进行高性能RPC调用。本文将介绍Tars-Java客户端设计理念，方便开发人员理解其设计原理。

2021-05-08 16:11:25

Tars Tars-Java RPC框架

ceph分布式存储-常见MON故障处理

1. 常见 MON 故障处理Monitor 维护着 Ceph 集群的信息，如果 Monitor 无法正常提供服务，那整个 Ceph 集群就不可访问。一般来说，在实际运行中，Ceph Monitor的个数是 2n + 1 ( n >= 0) 个，在线上至少3个，只要正常的节点数 >= n+1，Ceph 的 Paxos 算法就能保证系统的正常运行。所以，当 Monito...

2021-04-20 10:24:26

ceph 分布式存储

一次Dubbo拥堵的分析

本文通过分析生产上一次Dubbo服务的拥堵事件，详细介绍Dubbo服务整个的请求流程以及与性能相关的参数。

2020-08-02 13:05:44

Dubbo 拥堵 netty

netty使用EmbeddedChannel对channel的出入站进行单元测试

netty使用EmbeddedChannel对channel的出入站进行单元测试

2019-08-02 02:00:46

从构建分布式秒杀系统聊聊限流特技

俗话说的好，冰冻三尺非一日之寒，滴水穿石非一日之功，罗马也不是一天就建成的。两周前秒杀案例初步成型，分享到了中国最大的同×××友网站-码云。同时也收到了不少小伙伴的建议和投诉。我从不认为分布式、集群、秒杀这些就应该是大厂的专利，在互联网的今天无论什么时候都要时刻武装自己，只有这样，也许你的春天就在明天。在开发秒杀系统案例的过程中，前面主要分享了队列、缓存、锁和分

2018-06-10 17:35:05

秒杀限流分布式

分布式文件系统--------GlusterFS最佳实战

迈向分布式文件系统生态的第一步先定个小目标，玩转GlusterFS －－－－分布式文件系统--------GlusterFS最佳实战

2017-06-15 17:49:20

文件系统分布式 Glusterfs

Zabbix分布式监控微信报警实战

作为运维工程师，最重要的事情就是保证该网站正常稳定的运行，需要实时监控网站、服务器的运行状态，并且有故障及时去处理。监控网站无需人工时刻去访问WEB网站或者登陆服务器去检查，可以借助开源监控软件例如Zabbix、Cacti、Nagios、Ganglia等监控来实现对网站的7x24小时的监控，并且可以做到有故障及时报警通知SA解决。

2017-05-25 11:47:26

Zabbix分布式监控之Discovery自动发现配置

当我们能够熟练构建Zabbix监控平台之后，我们会发现，对zabbix的认识只是刚开始，今天带大家来学习Zabbix比较牛的功能，自动发现功能。什么是自动发现呢，简单来说就是，可以自动批量去发现局域网若干服务器，并自动添加监控，省去人工手动的添加，节省大量的人力成本！随着监控主机不断增多，有时候需要添加一批机器，需要将公司的所有服务器添加到zabbix中，学过nagios、cacti的同学都知道，

2017-04-19 10:08:59

局域网服务器 Create

超融合超越企业传统存储绕不开的六个问题

企业需要一种大规模分布式存储管理软件，能够充分利用已有的硬件资源，在可控成本范围内提供最佳的存储性能，并能根据业务需求变化，从容量和性能两方面同时快速横向扩展。这也是当今软件定义存储兴起的现实基础。

2017-01-17 11:21:33

分布式超融合

分布式内存文件系统Alluxio实战

前言 Alluxio是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在Alluxio里的文件。把Alluxio是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其前身为Tachyon。 Alluxio起源于Alluxio公司创始人李浩源读博期间在 UC Berk

2016-12-09 12:00:35

分布式计算 MapReduce与yarn工作机制

一、第一代hadoop组成与结构第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Hadoop 1.x和0.21.X，0.22.x。 1、MapReduc

2016-11-07 13:01:06

角色 MapReduce hadoop

理解vSphere虚拟交换机中的VLAN类型

VMware vSphere虚拟机交换机支持四种VLAN类型，分别是：无、VLAN、VLAN中继、专用VLAN。在路由/交换领域，VLAN的中继端口叫做Trunk。Trunk技术用在交换机之间互连，使不同VLAN通过共享链路与其它交换机中的相同VLAN通信。交换机之间互连的端口就称为Trunk端口。Trunk是基于OSI第二层数据链路层（Data Link Layer)的技术。如果没有VLAN中继

2016-09-28 07:41:12

网络 VLAN 虚拟化

zabbix分布式监控（阿里云zabbix-server，内网zabbix-proxy）

1、阿里云zabbix-service ，公司内网zabbix-proxy 2、zabbix-proxy服务器配置 3、web配置添加zabbix-proxy

2016-09-09 12:04:09

运维 ubuntu LNMP

zabbix分布式监控部署proxy安装

之前写过一篇源码安装zabbix2.2.9版本，server端安装文档；http://mofansheng.blog.51cto.com/8792265/1679728 下面分享一下zabbix分布式监控proxy安装过程：环境说明：centos6.6 64位系统；LAMP环境；前提是zabbix server端已经安装完毕，server IP为192.168.20.10，proxy本机 IP 为

2016-08-03 12:14:01

Codis 是一个分布式 Redis 解决方案

Codis源码地址：https://github.com/wandoulabs/codis 关于Codis组件可以参考：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md 今天分享的这篇文章纯属个人的一些理解和使用的一些心得体会，如果错误也请朋友指出。更重要的是为了认识一些正在使用或将要使用Codis的朋友有或多或少

2015-12-25 22:35:04

企业级分布式监控系统Zabbix系列之02（Zabbix-Agent安装与配置）

本文以CentOS 6.7 x86_64系统为例，环境为刚做好的新系统。Zabbix-Agent端环境检查[root@linux-node2~]#cat/etc/redhat-release CentOSrelease6.7(Final) [root@linux-node2~]#uname-

2015-12-14 18:32:47

1 2 3 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营