RedisSyncer同步引擎的设计与实现

OK 成功
其他 error

返回:
ERR invalid password    密码错误
NOAUTH Authentication required.没有发送密码
operation not permitted 操作没权限
PONG  密码成功

作用：
检测主从节点之间的网络是否可用。
检查主从节点当前是否接受处理命令。

REPLCONF listening-port <port>

-->OK 成功
-->其他  失败

REPLCONF ip-address <IP>

--> OK 成功
--> 其他  失败

REPLCONF capa eof

--> OK 成功
--> 失败
作用:
是否支持EOF风格的RDB传输，用于无盘复制，就是能够解析出RDB文件的EOF流格式。用于无盘复制的方式中。
redis4.0支持两种能力 EOF 和 PSYNC2
redis4.0之前版本仅支持EOF能力

REPLCONF capa  PSYNC2

--> OK 成功
--> 失败
作用: 
告诉master支持PSYNC2命令 ,  master 会忽略它不支持的能力.  PSYNC2则表示支持Redis4.0最新的PSYN复制操作。

PSYNC {replid} {offset}

-->  FULLRESYNC  {replid}  {offset}   完整同步
-->  CONTINUE 部分同步
-->  -ERR 主服务器低于2.8,不支持psync,从服务器需要发送sync
-->  NOMASTERLINK  重试
-->  LOADING       重试
-->  超过重试机制阈值宕掉任务

读取PSYNC命令状态，判断是部分同步还是完整同步

REPLCONF ACK <replication_offset>
心跳检测
在命令传播阶段，从服务器默认会以每秒一次的频率
发送REPLCONF ACK命令对于主从服务器有三个作用：
作用:
检测主从服务器的网络连接状态；
辅助实现min-slaves选项；
检测命令丢失。

REPLCONF  GETACK 
->REPLCONF ACK <replication_offset>

HASH  hset redis-syncer-checkpoint {value}
{value}:
* {ip}:{port}-runid     {replid}
* {ip}:{port}-offset    {offset}
* pointcheckVersion     {version}

REDIS RDB文件结构开头部分示例
----------------------------# RDB is a binary format. There are no new lines or spaces in the file.
52 45 44 49 53              # Magic String "REDIS"
30 30 30 37                 # 4 digit ASCCII RDB Version Number. In this case, version = "0007" = 7   RDB VERSION字段
----------------------------
FE 00                       # FE = code that indicates database selector. db number = 00

def rdbLoad(filename):
rio =  rioInitWithFile(filename);
# 设置标记：
# a. 服务器状态：rdb_loading = 1
# b. 载入时间：loading_start_time = now_time
# c. 载入大小：loading_total_bytes = filename.size
startLoading(rio)
# 1.检查该文件是否为RDB文件（即文件开头前5个字符是否为"REDIS"）
if !checkRDBHeader(rio):
redislog("error, Wrong signature trying to load DB from file") 
return
# 2.检查当前RDB文件版本是否兼容（向下兼容）
if !checkRDBVersion(rio): 
redislog("error, Can't handle RDB format version")
return
.........
//Redis中关于RDB_VERSION检查的代码
rdbver = atoi(buf+5);
if (rdbver < 1 || rdbver > RDB_VERSION) {
rdbCheckError("Can't handle RDB format version %d",rdbver);
goto err;
}

----------------------------# RDB is a binary format. There are no new lines or spaces in the file.
52 45 44 49 53              # Magic String "REDIS"
30 30 30 37                 # 4 digit ASCCII RDB Version Number. In this case, version = "0007" = 7
----------------------------
FE 00                       # FE = code that indicates database selector. db number = 00
----------------------------# Key-Value pair starts
FD $unsigned int            # FD indicates "expiry time in seconds". After that, expiry time is read as a 4 byte unsigned int
$value-type                 # 1 byte flag indicating the type of value - set, map, sorted set etc.
$string-encoded-key         # The key, encoded as a redis string
$encoded-value              # The value. Encoding depends on $value-type
----------------------------
FC $unsigned long           # FC indicates "expiry time in ms". After that, expiry time is read as a 8 byte unsigned long
$value-type                 # 1 byte flag indicating the type of value - set, map, sorted set etc.
$string-encoded-key         # The key, encoded as a redis string
$encoded-value              # The value. Encoding depends on $value-type
----------------------------
$value-type                 # This key value pair doesn't have an expiry. $value_type guaranteed != to FD, FC, FE and FF
$string-encoded-key
$encoded-value
----------------------------
FE $length-encoding         # Previous db ends, next db starts. Database number read using length encoding.
----------------------------
...                         # Key value pairs for this database, additonal database

FF                          ## End of RDB file indicator
8 byte checksum             ## CRC 64 checksum of the entire file.

RDB文件以魔术字符串“REDIS”开头。
52 45 44 49 53 # "REDIS"

RDB 版本号
接下来的 4 个字节存储 rdb 格式的版本号。这 4 个字节被解释为 ascii 字符，然后使用字符串到整数转换转换为整数。
00 00 00 03 # Version = 3

Database Selector
一个Redis实例可以有多个数据库。
单个字节0xFE标记数据库选择器的开始。在该字节之后，一个可变长度字段指示数据库编号。请参阅“长度编码”部分以了解如何读取此数据库编号。

键值对
在数据库选择器之后，该文件包含一系列键值对。
za
每个键值对有 4 个部分 -

1.密钥到期时间戳。
2.指示值类型的一字节标志
3.密钥，编码为 Redis 字符串。请参阅“Redis 字符串编码”
4.根据值类型编码的值。参见“Redis 值编码”

"+OK\r\n"

"-Error message\r\n"

-ERR unknown command 'foobar'
-WRONGTYPE Operation against a key holding the wrong kind of value

":0\r\n" 
":1000\r\n"

"$6\r\nfoobar\r\n"

"$0\r\n\r\n"

"$-1\r\n"

"*0\r\n"

"*2\r\n$3\r\nfoo\r\n$3\r\nbar\r\n"