详解MyCat 全局序列号实现方式,值得收藏

数据库 其他数据库
在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat 提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式。下面对这几种实现方式做一下介绍。

在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat 提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式。下面对这几种实现方式做一下介绍。

详解mycat全局序列号实现方式,值得收藏

1. 本地文件方式

原理:

此方式 MyCAT 将 sequence 配置到文件中,当使用到 sequence 中的配置后,MyCAT 会更下classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。

配置方式:

在 sequence_conf.properties 文件中做如下配置:

  1. GLOBAL_SEQGLOBAL_SEQ.HISIDS=  
  2. GLOBAL_SEQ.MINID=1001  
  3. GLOBAL_SEQ.MAXID=1000000000  
  4. GLOBAL_SEQ.CURID=1000 

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID 表示最小 ID 值,MAXID 表示最大ID 值,CURID 表示当前 ID 值。

server.xml 中配置:

  1. <system><property name="sequnceHandlerType">0</property></system> 

注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。

使用示例:

  1. insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’); 

缺点:当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值。

优点:本地加载,读取速度较快。

2. 数据库方式

原理:

在数据库中建立一张表,存放 sequence 名称(name),sequence 当前值(current_value),步长(incrementint 类型每次读取多少个 sequence,假设为 K)等信息;

Sequence 获取步骤:

当初次使用该 sequence 时,根据传入的 sequence 名称,从数据库这张表中读取 current_value,和increment 到 MyCat 中,并将数据库中的 current_value 设置为原 current_value 值+increment 值。

MyCat 将读取到 current_value+increment 作为本次要使用的 sequence 值,下次使用时,自动加 1,当使用 increment 次后,执行步骤 1)相同的操作。

MyCat 负责维护这张表,用到哪些 sequence,只需要在这张表中插入一条记录即可。若某次读取的sequence 没有用完,系统就停掉了,则这次读取的 sequence 剩余值不会再使用。

配置方式(server.xml 配置):

  1. <system><property name="sequnceHandlerType">1</property></system>  

注:sequnceHandlerType 需要配置为 1,表示使用数据库方式生成 sequence。

配置方式(数据库 配置):

1) 创 建 MYCAT_SEQUENCE 表

  1. – 创建存放 sequence 的表 
  2. DROP TABLE IF EXISTS MYCAT_SEQUENCE; 
  3. – name sequence 名 称 
  4. – current_value 当 前 value 
  5. – increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数据库中读取。 
  6. CREATE TABLE MYCAT_SEQUENCE ( 
  7. name VARCHAR(50) NOT NULL,current_value INT NOT NULL, 
  8. increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name))  
  9. ENGINE=InnoDB
  10. – 插入一条 sequence 
  11. INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (‘GLOBAL’, 100000,100); 

2) 创建相关 function

  1. – 获取当前 sequence 的值 (返回当前值,增量) 
  2. DROP FUNCTION IF EXISTS mycat_seq_currval; 
  3. DELIMITER 
  4. CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8 
  5. DETERMINISTIC  
  6. BEGIN 
  7. DECLARE retval VARCHAR(64); 
  8. SET retval=“-999999999,null”; 
  9. SELECT concat(CAST(current_value AS CHAR),“,”,CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name
  10. RETURN retval;  
  11. END  
  12. DELIMITER; 
  13. – 设 置 sequence 值 
  14. DROP FUNCTION IF EXISTS mycat_seq_setval;  
  15. DELIMITER 
  16. CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf-8 
  17. DETERMINISTIC  
  18. BEGIN 
  19. UPDATE MYCAT_SEQUENCE 
  20. SET current_value = value  
  21. WHERE name = seq_name
  22. RETURN mycat_seq_currval(seq_name);  
  23. END 
  24. DELIMITER; 
  25. ​ 
  26. – 获取下一个 sequence 值 
  27. DROP FUNCTION IF EXISTS mycat_seq_nextval;  
  28. DELIMITER 
  29. CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8 
  30. DETERMINISTIC  
  31. BEGIN 
  32. UPDATE MYCAT_SEQUENCE 
  33. SET current_valuecurrent_value = current_value + increment WHERE name = seq_name;  
  34. RETURN mycat_seq_currval(seq_name); 
  35. END  
  36. DELIMITER; 

3)sequence_db_conf.properties 相关配置,指定 sequence 相关配置在哪个节点上:

例如:

  1. USER_SEQ=test_dn1 

注意:MYCAT_SEQUENCE 表和以上的 3 个 function,需要放在同一个节点上。function 请直接在具体节点的数据库上执行,如果执行的时候报:

  1. you might want to use the less safe log_bin_trust_function_creators variable 

需要对数据库做如下设置:

  1. windows 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1 
  2. linux 下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1 

修改完后,即可在 mysql 数据库中执行上面的函数。

使用示例:

  1. insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test'); 

3. 本地时间戳方式

ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加)

换算成十进制为 18 位数的 long 类型,每毫秒可以并发 12 位二进制的累加。

使用方式:

a. 配置 server.xml

  1. <property name="sequnceHandlerType">2</property> 

b. 在 mycat 下配置:sequence_time_conf.properties

  1. WORKID=0-31 任意整数 
  2. DATAACENTERID=0-31 任意整数 

多个个 mycat 节点下每个 mycat 配置的 WORKID,DATAACENTERID 不同,组成唯一标识,总共支持32*32=1024 种组合。

4. 分布式 ZK ID 生成器

  1. <property name="sequnceHandlerType">3</property> 

Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置。

基于 ZK 与本地配置的分布式 ID 生成器(可以通过 ZK 获取集群(机房)唯一 InstanceID,也可以通过配置文件配置 InstanceID)

  1. ID 结构:long 64 位,ID 最大可占 63 位 
  2. * |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId(机房或者 ZKid,通过配置文件配置 5位)|instanceId(实例 ID,可以通过 ZK 或者配置文件获取,5 位)|threadId(线程 ID,9 位)|increment(自增,6 位) 
  3. * 一共 63 位,可以承受单机房单机器单线程 1000*(2^6)=640000 的并发。 
  4. * 无悲观锁,无强竞争,吞吐量更高 

配置文件:sequence_distributed_conf.properties,只要配置里面:INSTANCEID=ZK 就是从 ZK 上获取InstanceID。

5. Zk 递增方式

  1. <property name="sequnceHandlerType">4</property> 

Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置,4 是 zookeeper 实现递增序列号

1) 配置文件:sequence_conf.properties, 只要配置好 ZK 地址和表名的如下属性

 

  • TABLE.MINID 某线程当前区间内最小值
  • TABLE.MAXID 某线程当前区间内最大值
  • TABLE.CURID 某线程当前区间内当前值

2) 文件配置的 MAXID 以及 MINID 决定每次取得区间,这个对于每个线程或者进程都有效

3)文件中的这三个属性配置只对第一个进程的第一个线程有效,其他线程和进程会动态读取 ZK

6. 自增长主键

(1) MyCAT 自增长主键和返回生成主键 ID 的实现

说明:

  • mysql 本身对非自增长主键,使用 last_insert_id()是不会返回结果的,只会返回 0;
  • mysql只 会对定义自增长主键,可以用last_insert_id() 返 回 主 键 值 ;

MyCAT目前提供了自增长主键功能,但是如果对应的 mysql 节点上数据表,没有定义 auto_increment,那么在 MyCAT 层调用 last_insert_id()也是不会返回结果的。

正确配置方式如下:

  • mysql 定义自增主键
    1. CREATE TABLE table1( 
    2.  'id_' INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,  
    3.  'name_' INT(10) UNSIGNED NOT NULL, 
    4.  PRIMARY KEY ('id_') 
    5.  ) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8
  • mycat 定义主键自增
  • mycat 对应 sequence_db_conf.properties 增加相应设置
    1. TABLE1=dn1 
  • 在数据库中 mycat_sequence 表中增加 TABLE1 表的 sequence 记录

测试使用:

  1. 127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t1’); 
  2. Query OK, 1 row affected (0.14 sec)  
  3. 127.0.0.1/root:[TESTDB> select last_insert_id(); 
  4. +——————+ 
  5. | LAST_INSERT_ID() | 
  6. +——————+ 
  7. | 100 | 
  8. +——————+ 
  9. ​ 
  10. 1 row in set (0.01 sec) 
  11.  127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t2’); 
  12.  Query OK, 1 row affected (0.00 sec)  
  13.  127.0.0.1/root:[TESTDB> select last_insert_id(); 
  14.  +——————+ 
  15. | LAST_INSERT_ID() | 
  16. +——————+ 
  17. | 101 | 
  18. +——————+ 
  19. 1 row in set (0.00 sec) 
  20. 127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t3’); 
  21. Query OK, 1 row affected (0.00 sec)  
  22. 127.0.0.1/root:[TESTDB> select last_insert_id(); 
  23. +——————+ 
  24. | LAST_INSERT_ID() | 
  25. +——————+ 
  26. | 102 | 
  27. +——————+ 
  28. 1 row in set (0.00 sec) 

Myibatis 中新增记录后获取 last_insert_id 的示例:

详解mycat全局序列号实现方式,值得收藏

责任编辑:赵宁宁 来源: 今日头条
相关推荐

2011-04-19 09:25:51

2011-04-19 09:30:33

2009-09-04 08:17:04

Windows 7序列号检查器

2024-07-31 08:33:17

2009-09-14 08:36:21

Windows 7正版序列号

2009-12-09 09:52:57

ibmdwFileNet

2009-02-09 15:51:48

Windows 7序列号免费

2023-11-15 16:35:31

SQL数据库

2009-12-04 13:56:58

安装Windows 7

2010-01-11 17:49:36

VB.NET硬盘序列号

2009-12-07 17:17:00

Windows 7操作

2019-09-26 08:59:39

DockerGoogle软件

2009-11-25 10:00:37

2017-01-03 17:51:21

AndroidViewHolder工具类

2010-09-02 17:27:18

SQL Server安装

2019-08-14 10:00:08

vue组件通信前端

2019-09-02 14:53:53

JVM内存布局GC

2023-12-29 08:22:52

lsblk命令存储

2017-11-22 09:46:53

分布式架构系统

2019-12-27 18:07:53

Python网络爬虫HTML
点赞
收藏

51CTO技术栈公众号