要搭建的集群情况说明
在一台Linux服务器上使用docker搭建一个cluster模式的redis集群。三个master节点,三个slave节点,六个节点因为在同一台服务器上,所以每个节点使用不同的端口,端口范围是6380到6385。
redis cluster集群具有如下几个特点:
- 去中心化,采用多主多从模式。所有节点彼此互联(PING-PONG机制),内部使用二进制协议传输。
- 客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
- 每一个分区都是由一个主节点和多个从节点组成,分片和分片之间平行。
- 每一个master节点负责维护一部分槽,以及槽所映射的键值数据;集群中每个节点都有全量的槽信息,通过槽每个node都知道具体数据存储到哪个node上。
拉取redis镜像
可以选择指定版本的redis,本文为了方便演示,使用最新版本
docker pull redis
创建使用固定的network
docker network create rediscluster
创建redis配置文件
因为六个节点监听端口不同,所以配置文件也有区别,可以使用如下shell脚本生成对应配置文件(假如命名为createRedisConf.sh):
#!/bin/sh
for port in $(seq 6380 6385);
do
mkdir -p ~/redisCluster/node-${port}/conf
touch ~/redisCluster/node-${port}/conf/redis.conf
cat << EOF > ~/redisCluster/node-${port}/conf/redis.conf
#节点端口
port ${port}
#添加访问认证
requirepass luduoxin
#如果主节点开启了访问认证,从节点访问主节点需要认证
masterauth luduoxin
#保护模式,默认值 yes,即开启。开启保护模式以后,需配置 bind ip 或者设置访问密码;关闭保护模式,外部网络可以直接访问
protected-mode no
#bind 0.0.0.0
#是否以守护线程的方式启动(后台启动),默认 no
daemonize no
#是否开启 AOF 持久化模式,默认 no
appendonly yes
#是否开启集群模式,默认 no
cluster-enabled yes
#集群节点信息文件
cluster-config-file nodes.conf
#群节点连接超时时间
cluster-node-timeout 5000
#集群节点 IP,我使用的服务的ip为172.16.3.110,替换为自己的服务器的即可
cluster-announce-ip 172.16.3.110
#集群节点映射端口
cluster-announce-port ${port}
#集群节点总线端口
cluster-announce-bus-port 1${port}
EOF
done
创建此文件后,先赋予执行权限,然后执行生成配置文件
$ chmod 755 ./createRedisConf.sh
$ sh ./createRedisConf.sh
创建出六个Redis节点
可以使用如下shell脚本快速创建出来(createRedis.sh)。
#!/bin/sh
## 首次创建并运行redis容器
if [ "$1" = "create" ]; then
for port in $(seq 6380 6385);
do
docker run -di --restart always --name redis-${port} --net rediscluster -p ${port}:${port} -p 1${port}:1${port} -v ~/redisCluster/node-${port}/conf/redis.conf:/usr/local/etc/redis/redis.conf -v ~/redisCluster/node-${port}/data:/data redis redis-server /usr/local/etc/redis/redis.conf
done
fi
##停止redis容器
if [ "$1" = "stop" ]; then
for port in $(seq 6380 6385);
do
docker stop redis-${port}
done
fi
##启动已有的redis容器
if [ "$1" = "start" ]; then
for port in $(seq 6380 6385);
do
docker start redis-${port}
done
fi
## 删除redis容器
if [ "$1" = "rm" ]; then
for port in $(seq 6380 6385);
do
docker rm redis-${port}
done
fi
创建此文件后,先赋予执行权限,然后执行创建出redis服务
$ chmod 755 ./createRedis.sh
$ sh ./createRedis.sh create
创建完成后,可以使用命令 docker ps -a 查看容器。
创建cluster集群
选择一个redis容器,例如选择redis-6380容器,进入容器。
docker exec -it redis-6380 /bin/bash
在容器里面执行如下命令。
redis-cli -a luduoxin --cluster create 172.16.3.110:6380 172.16.3.110:6381 172.16.3.110:6382 172.16.3.110:6383 172.16.3.110:6384 172.16.3.110:6385 --cluster-replicas 1
然后出现如下提示,输入 yes 继续。
Can I set the above configuration ? (type 'yes' to accept):
创建过程如下:
# redis-cli -a luduoxin --cluster create 172.16.3.110:6380 172.16.3.110:6381 172.16.3.110:6382 172.16.3.110:6383 172.16.3.110:6384 172.16.3.110:6385 --cluster-replicas 1
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 172.16.3.110:6384 to 172.16.3.110:6380
Adding replica 172.16.3.110:6385 to 172.16.3.110:6381
Adding replica 172.16.3.110:6383 to 172.16.3.110:6382
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 78891932599b7497c8dd921295ba19eb0f549285 172.16.3.110:6380
slots:[0-5460] (5461 slots) master
M: 43c735f5e5bd1dfd7e4fa80aed467dc6e10a9081 172.16.3.110:6381
slots:[5461-10922] (5462 slots) master
M: 254d130ac0f88ec36be9cda27e59500e04c283cc 172.16.3.110:6382
slots:[10923-16383] (5461 slots) master
S: e2875613c12f0754e485e5eb56d968dd78493bae 172.16.3.110:6383
replicates 78891932599b7497c8dd921295ba19eb0f549285
S: a87af69f190a86455864c5ca73fabb60290abd1e 172.16.3.110:6384
replicates 43c735f5e5bd1dfd7e4fa80aed467dc6e10a9081
S: 846fa01cecc7fa75fc558eb8fcfb2788abb2a83d 172.16.3.110:6385
replicates 254d130ac0f88ec36be9cda27e59500e04c283cc
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
.
>>> Performing Cluster Check (using node 172.16.3.110:6380)
M: 78891932599b7497c8dd921295ba19eb0f549285 172.16.3.110:6380
slots:[0-5460] (5461 slots) master
1 additional replica(s)
M: 254d130ac0f88ec36be9cda27e59500e04c283cc 172.16.3.110:6382
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
M: 43c735f5e5bd1dfd7e4fa80aed467dc6e10a9081 172.16.3.110:6381
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: a87af69f190a86455864c5ca73fabb60290abd1e 172.16.3.110:6384
slots: (0 slots) slave
replicates 43c735f5e5bd1dfd7e4fa80aed467dc6e10a9081
S: 846fa01cecc7fa75fc558eb8fcfb2788abb2a83d 172.16.3.110:6385
slots: (0 slots) slave
replicates 254d130ac0f88ec36be9cda27e59500e04c283cc
S: e2875613c12f0754e485e5eb56d968dd78493bae 172.16.3.110:6383
slots: (0 slots) slave
replicates 78891932599b7497c8dd921295ba19eb0f549285
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
到这里集群就创建成功了。
检查集群状态。
redis-cli -a luduoxin --cluster check 172.16.3.110:6382
连接集群某个节点。
$ redis-cli -c -a luduoxin -h 172.16.3.110 -p 6382
//查看集群信息
172.16.3.110:6381> cluster info
//查看集群结点信息
172.16.3.110:6381> cluster nodes
//查看集群的slot分配区间及对应的主从节点映射关系
172.16.3.110:6381> cluster slots
小结
本文主要讲了如何在一台Linux服务器上使用docker搭建一个cluster模式的redis集群,这种方式搭建的集群主要用于测试用途,不建议在生产环境使用。