滴滴开源千万级并发的分布式ID生成器

新闻 开源 分布式
Tinyid是一个ID生成器服务,它提供了REST API和Java客户端两种获取方式,如果使用Java客户端获取方式的话,官方宣称能单实例能达到1kw QPS。

 Tinyid是一个ID生成器服务,它提供了REST API和Java客户端两种获取方式,如果使用Java客户端获取方式的话,官方宣称能单实例能达到1kw QPS(Over 10 million QPS per single instance when using the java client.),我的妈呀!

说明:Tinyid要求JDK是1.7+即可。

Github

Tinyid开源的Github地址:https://github.com/didi/tinyid

运行Tinyid

将Tinyid源码下载到本地,并导入idea后,接下来准备把它运行起来。

1. 导入SQL

Tinyid依赖的SQL脚本路径:tinyid/tinyid-server/db.sql,是MySQL数据库的脚本。登陆mysql客户端并创建一个tinyid数据库后,执行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables后能看到两个表tiny_id_infotiny_id_token表示创建成功。并且脚本已经初始化了两条数据:

  1. mysql>selectid,token,biz_typefromtiny_id_token;+----+----------------------------------+----------+|id|token|biz_type|+----+----------------------------------+----------+|1|0f673adf80504e2eaa552f5d791b644c|test||2|0f673adf80504e2eaa552f5d791b644c|test_odd|+----+----------------------------------+----------+2rowsinset(0.08sec)mysql>selectid,biz_type,begin_id,max_id,step,deltafromtiny_id_info;+----+----------+----------+--------+--------+-------+|id|biz_type|begin_id|max_id|step|delta|+----+----------+----------+--------+--------+-------+|1|test|1|1|100000|1||2|test_odd|1|1|100000|2|+----+----------+----------+--------+--------+-------+2rowsinset(0.01sec) 
  2. 2. mysql依赖 

这里需要注意的是,tinyid项目默认依赖5.x版本MySQL驱动包,Maven坐标如下:

  1. <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.44</version></dependency> 

如果你的MySQL服务器是8.x版本(笔者本地就是8.x的MySQL),可能会碰到在启动过程中报连接数据库错误:

  1. Causedby:java.sql.SQLException:Unabletoloadauthenticationplugin'caching_sha2_password'.atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:868)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.SQLError.createSQLException(SQLError.java:864)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746)~[mysql-connector-java-5.1.44.jar:5.1.44]atcom.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)~[mysql-connector-java-5.1.44.jar:5.1.44]...... 

这样的话,需要将你的MySQL驱动升级到8.x版本(说明:如果你是其他MySQL版本,启动tinyid时碰到类似的异常,那么MySQL驱动版本请视情况而定进行升级):

  1. <dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.11</version></dependency> 

3. 修改配置

接下来需要更新配置application.properties文件。主要更新数据库相关配置,具体值根据你的MySQL环境而定:

  1. datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driverdatasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8datasource.tinyid.primary.username=afeidatasource.tinyid.primary.password=afei 

4. 启动tinyid

tinyid项目基于Springboot开发的,所以启动非常简单。只需要运行主类TinyIdServerApplication.java即可。运行后如果能看到如下日志,表示启动成功:

  1. 00:20:55,761[main][INFO]o.s.b.c.e.t.TomcatEmbeddedServletContainer-Tomcatstartedonport(s):9999(http)00:20:55,767[main][INFO]c.x.u.t.s.TinyIdServerApplication-StartedTinyIdServerApplicationin5.092seconds(JVMrunningfor6.29)00:21:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin00:21:00,002[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitbegin00:21:00,006[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-tinyIdtokeninitsuccess,tokensize:200:22:00,001[pool-3-thread-1][INFO]c.x.u.t.s.s.i.TinyIdTokenServiceImpl-refreshtokenbegin。。。。。。 

5. 获取唯一ID

接下来可以尝试通过REST API获取分布式唯一ID,请求实例如下,bizType和token的值请参考tiny_id_token表:

  1. http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c 

Client集成

tinyid还支持Client集成模式,只需要引入如下Maven坐标:

  1. <dependency><groupId>com.xiaoju.uemc.tinyid</groupId><artifactId>tinyid-client</artifactId><version>${tinyid.version}</version></dependency> 

然后在你的classpath路径下创建配置文件tinyid_client.properties,内容如下,这两个参数就是IdGeneratorFactoryClient.java中tinyid服务端请求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一个和第二个参数:

  1. tinyid.server=localhost:9999tinyid.token=0f673adf80504e2eaa552f5d791b644c 

tinyid.server还支持多个地址配置,多个地址之间以英文逗号隔开,例如:tinyid.server=host1:9999,tinyid.server=host2:9999。

接下来,就能简单的通过调用tinyid封装的API获取分布式ID,实例代码如下,test就是bizType的值:

  1. //单个分布式ID获取Longid=TinyId.nextId("test");//多个分布式ID批量获取List<Long>ids=TinyId.nextId("test",10); 

通过配置可知,tinyid-client本质上还是依赖tinyid-server,只不过它封装了对tinyid-server的HTTP请求,然后暴露最简单的API给用户使用而已。它对tinyid-server的HTTP请求封装在TinyIdHttpUtils.java中,依赖JDK原生的HttpURLConnection,居然没有使用其他第三方优秀的HTTP Client包例如okhttp!

tinyid原理

tinyid的原理非常简单,通过数据库表中的数据基本是就能猜出个八九不离十,就是经典的segment模式,和美团的leaf原理几乎一致。原理图如下所示,以同一个bizType为例,每个tinyid-server会分配到不同的segment,例如第一个tinyid-server分配到(1000, 2000],第二个tinyid-server分配到(2000, 3000],第3个tinyid-server分配到(3000, 4000]:

再以第一个tinyid-server为例,当它的segment用了20%(核心源码:segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADING_PERCENT / 100);,LOADING_PERCENT的值就是20),即设定loadingId为20%的阈值,例如当前id是10000,步长为10000,那么loadingId=12000。那么当请求分布式ID分配到12001时(或者重启后),即超过loadingId,就会返回一个特殊code:new Result(ResultCode.LOADING, id);tinyid-server根据ResultCode.LOADING这个响应码就会异步分配下一个segment(4000, 5000],以此类推。

责任编辑:张燕妮 来源: 今日头条
相关推荐

2017-07-01 16:02:39

分布式ID生成器

2020-11-04 14:40:26

分布式Tinyid数据库

2021-07-14 07:17:37

Springboot分布式UIDGenerato

2024-10-07 08:52:59

分布式系统分布式 IDID

2022-09-28 07:58:06

MongoDB分布式ID

2019-09-05 13:06:08

雪花算法分布式ID

2024-12-04 09:36:37

2024-10-29 08:30:31

2022-12-29 08:43:54

IDredis

2016-11-29 09:12:21

数据库分布式ID

2022-02-22 10:29:24

分布式架构高可用

2021-07-23 11:24:54

Create Inc开源G代码生成器

2024-08-19 00:00:00

表单生成器开发开源

2022-02-23 07:09:30

分布式ID雪花算法

2024-12-04 08:38:29

2023-12-12 07:13:39

雪花算法分布式ID

2022-06-16 07:31:15

MySQL服务器服务

2017-06-19 17:55:22

CASID分布式

2015-05-12 13:03:54

开源分布式存储HDFS

2015-04-22 09:36:27

JAVA代码生成器
点赞
收藏

51CTO技术栈公众号