《一起学mongodb》之第三卷分片集群

数据库 其他数据库
今天就跟大家聊聊最后一种「分片集群」的方式,分片集群也是 mongo 能够作为万亿级别数据库的核心魅力所在。

前言

上一篇介绍了 mongo 的三种部署方式,「单点、主从、副本集」三种部署方式,今天就跟大家聊聊最后一种「分片集群」的方式,分片集群也是 mongo 能够作为万亿级别数据库的核心魅力所在,也有一句话说到:

「连分片集群都不知道,你还好意思说自己用过 mongo ?」

分片集群架构

其他的不多说,我们先甩一张分片集群的架构图

在分片集群当中,一共有以下三种角色

  • mongos:路由层,主要用来处理客户端的请求,连接客户端与 shard
  • config server:主要用来存储分片集群的元数据和配置信息
  • shard:每个 Shard 就相当于一个 mongod 数据库实例,用于存储数据,整个数据库会「分散在不同的 shard 当中」,每一个分片都满足高可用,一般都是一主二从(建议部署位副本集架构),分片的个数最大可以到1024个

一个集群包含了多个分片组成,而一个分片又存储了多个块(每个块包含一定范围片键的数据,互不相交且并集为全部数据),一个块当中包含了多个文档。

那么问题来了-

mongoDB 是怎么做数据分片的?

mongo 提供了「三种方式来做数据分片」

哈希分片

这是很多技术最常用的一种方式,就是将数据通过 hash 散列化,打在不同的机器上,实现「均匀分布」,但是它很大的问题就是「数据不连续」,比如业务需要查询工资在 10000~20000 之间的人员,你可能就需要遍历每一个分片了

范围分片

这种策略直接根据片键的范围确定分片。

比如现在我们将数据在逻辑上分为四个块。

在数据上数据 工资 0~5000一个块,5000~10000 一个块,10000~15000 一个块,15000~20000 一个块,20000~25000 一个块,25000 以上一个块,由于公司人员薪资分布大概率都在 5000~15000,这个区域内,就会造成数据过分集中在 5000~10000 、10000~15000 这两个块儿中,造成「数据分布不均匀」,但是再做「范围查询的时候效率就会很高」

zone 分片

简单来说 Zone 实际上像是范围分片的另一个版本,你为一定范围内的片键制定一个 Zone,然后再将一些分片加入到这个Zone中,于是这一范围内的数据最终就将存储在这个 Zone 中的分片上。

Chunk(块) 分裂

随着数据慢慢的写入,数据量越来越大,当 Chunk 增长到指定大小(默认为 64MB)时,MongoDB 会 对 Chunk 进行分裂。

Chunk 分裂的⽅式

  • ⼿动触发
  • ⾃动触发:当发生插⼊和更新操作才会触发⾃动块分裂。

JumboChunk 是一个最小的 Chunk 可以「只包含一个唯一的 ShardKey」,这样的 Chunk 不可以再进行分裂。

那么如果数据分片不均 mongoDB 是怎么做的?

这个时候就要说到我们的 「balancer(平衡器)」 了,用来「保证集合的 Chunk 在各个 Shard 上是均衡的」。

当某些分片数据不均匀的情况下,balancer 会发出一个命令让切割器去需要移动的分片上去做数据切割,再把数据移动到数据少的分片上。具体的步骤如下:

  • 平衡器向源分片发送 moveChunk 的命令
  • 源分片收到命令后,会启动自己内部的一个 moveChunk 命令,如果在数据移动过程中有客户端发来读写请求的话,都会发送到源分片。
  • 目标片开始向源分片请求将要移动的数据块的文档,准备拷贝文档数据。
  • 当目标分片接收到据块的最后一个文档后,目标分片会启动一个同步进程来检查,是否已经拷贝完全部的文档。
  • 当同步完成后,目标分片会连接配置服务器,更新元数据列表中数据块的地址。
  • 当目标分片完成元数据更新后,源分片就会删除原来的数据块.如果有新的数据块需要移动的话,可以继续进行移动。
  • 配置服务器会通知 monogs 进程更新自己的映射表。

迁移过程对于应用是透明的,但由于「迁移过程会占用相应节点的 CPU 和带宽资源」,因此对分片集有一定程度的性能影响,并且对运维操作存在一些限制。

在对集合进行分片后是否可以更改片键?

「不可以」

MongoDB 中没有对集合分片后更改片键的自动支持。如果在集合分片后必须更改片键,可以按如下方式操作:

  • 将MongoDB中的所有数据转储为外部格式,比如可以先放在 mysql 中。
  • 删除原始分片集合。
  • 使用新的的片键配置分片。
  • 预分割片键范围以确保初始均匀分布。
  • 将转储的数据恢复到 MongoDB 中。

mongos 是如何处理连接的?

每个 mongos 实例都「维护一个与分片集群成员的连接池」。客户端「一次请求就会占用一个连接」,客户端请求完成后,连接释放。但是客户端数量减少时,这些池不会收缩。这可能导致未使用的mongos占用大量打开的连接。如果 mongos 不再使用,则可以安全地重新启动进程以关闭现有连接。

总结

今天的内容只讲了分片集群相关的,当你看完了以上内容时,再来看看以下几个问题,「mongoDB 分片集群架构是怎么样的?有哪三种分片方式?块分裂是什么?为什么会有块分裂?分片之间的负载均衡是怎么做的?如何修改分片键?mongos 如何管理与分片之间的连接?」

你都会了吗?

责任编辑:姜华 来源: moon聊技术
相关推荐

2022-02-23 14:43:50

索引数据库mysql

2022-03-22 14:32:55

mongoDB事务commit

2023-02-28 07:28:50

Spritepixijs

2022-12-02 14:20:09

Tetris鸿蒙

2022-11-29 16:35:02

Tetris鸿蒙

2023-05-08 07:29:48

WebGL视图矩阵

2022-11-14 17:01:34

游戏开发画布功能

2023-03-30 09:32:27

2023-05-17 08:28:55

2022-08-19 19:02:20

开源鸿蒙操作系统

2024-02-28 12:12:20

Pipeline数据机制

2023-11-13 22:27:53

Mapping数据库

2023-02-14 08:01:32

2023-04-17 09:01:01

WebGL绘制三角形

2023-11-13 12:48:32

语言DSL

2023-03-29 07:31:09

WebGL坐标系

2023-04-12 07:46:24

JavaScriptWebGL

2023-11-30 15:23:07

聚合查询数据分析

2023-05-04 08:48:42

WebGL复合矩阵

2023-04-26 07:42:16

WebGL图元的类型
点赞
收藏

51CTO技术栈公众号