全局唯一iD的生成雪花算法详解及其他用法

sanshao 2021年06月14日数据库 362 0

一、介绍

雪花算法的原始版本是scala版，用于生成分布式ID（纯数字，时间顺序）,订单编号等。

自增ID：对于数据敏感场景不宜使用，且不适合于分布式场景。
GUID：采用无意义字符串，数据量增大时造成访问过慢，且不宜排序。

1bit，不用，因为二进制中最高位是符号位，1表示负数，0表示正数。生成的id一般都是用整数，所以最高位固定为0。
41bit-时间戳，用来记录时间戳，毫秒级。
- 41位可以表示 $2^{41}-1$ 个数字，
- 如果只用来表示正整数（计算机中正数包含0），可以表示的数值范围是：0 至 $2^{41}-1$ ，减1是因为可表示的数值范围是从0开始算的，而不是1。
- 也就是说41位可以表示 $2^{41}-1$ 个毫秒的值，转化成单位年则是 $(2^{41}-1) / (1000 * 60 * 60 * 24 *365) = 69$ 年
10bit-工作机器id，用来记录工作机器id。
- 可以部署在 $2^{10} = 1024$ 个节点，包括5位datacenterId和5位workerId
- 5位（bit）可以表示的最大正整数是 $2^{5}-1 = 31$ ，即可以用0、1、2、3、....31这32个数字，来表示不同的datecenterId或workerId
12bit-序列号，序列号，用来记录同毫秒内产生的不同id。
- 12位（bit）可以表示的最大正整数是 $2^{12}-1 = 4095$ ，即可以用0、1、2、3、....4094这4095个数字，来表示同一机器同一时间截（毫秒)内产生的4095个ID序号。

由于在Java中64bit的整数是long类型，所以在Java中SnowFlake算法生成的id就是long来存储的。

SnowFlake可以保证：

所有生成的id按时间趋势递增

整个分布式系统内不会产生重复id（因为有datacenterId和workerId来做区分）

二、使用建议

1、改进

其实雪花算法就是把id按位打散，然后再分成上面这几块，用位来表示状态，这其实就是一种思想。
所以咱们实际在用的时候，也不必非得按照上面这种分割，只需保证总位数在64位即可

如果你的业务不需要69年这么长，或者需要更长时间
用42位存储时间戳，(1L << 42) / (1000L * 60 * 60 * 24 * 365) = 139年
用41位存储时间戳，(1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69年
用40位存储时间戳，(1L << 40) / (1000L * 60 * 60 * 24 * 365) = 34年
用39位存储时间戳，(1L << 39) / (1000L * 60 * 60 * 24 * 365) = 17年
用38位存储时间戳，(1L << 38) / (1000L * 60 * 60 * 24 * 365) = 8年
用37位存储时间戳，(1L << 37) / (1000L * 60 * 60 * 24 * 365) = 4年

如果你的机器没有那么1024个这么多，或者比1024还多
用7位存储机器id，(1L << 7) = 128
用8位存储机器id，(1L << 8) = 256
用9位存储机器id，(1L << 9) = 512
用10位存储机器id，(1L << 10) = 1024
用11位存储机器id，(1L << 11) = 2048
用12位存储机器id，(1L << 12) = 4096
用13位存储机器id，(1L << 13) = 8192

如果你的业务，每个机器，每毫秒最多也不会4096个id要生成，或者比这个还多
用8位存储随机序列，(1L << 8) = 256
用9位存储随机序列，(1L << 9) = 512
用10位存储随机序列，(1L << 10) = 1024
用11位存储随机序列，(1L << 11) = 2048
用12位存储随机序列，(1L << 12) = 4096
用13位存储随机序列，(1L << 13) = 8192
用14位存储随机序列，(1L << 14) = 16384
用15位存储随机序列，(1L << 15) = 32768
注意，随机序列建议不要太大，一般业务，每毫秒要是能产生这么多id，建议在机器id上增加位

如果你的业务量很小，比如一般情况下每毫秒生成不到1个id，此时可以将随机序列设置成随机开始自增
比如从0到48随机开始自增，算是一种优化建议

如果你有多个业务，也可以拿出来几位来表示业务，比如用最后4位，支持16种业务的区分

如果你的业务特别复杂，可以考虑128位存储，不过这样的话，也可以考虑使用uuid了，但uuid无序，这个有序

如果你的业务很简单，甚至可以考虑32位存储，时间戳改成秒为单位…

2、总结：

合理的根据自己的实际情况去设计各个唯一条件的组合，雪花算法只是提供了一种相对合理的方式。
雪花算法这种用位来表示状态的，我们还可以用在其他方面，比如数据库存储，可以用更小的空间去表示不同的状态位
包括各种底层的比如序列化，也是有用到拆解位，充分利用存储

三、算法实现

/** 
 * Twitter_Snowflake<br> 
 * SnowFlake的结构如下(每部分用-分开):<br> 
 * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br> 
 * 1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0<br> 
 * 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截) 
 * 得到的值），这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的（如下下面程序IdWorker类的startTime属性）。41位的时间截，可以使用69年，年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br> 
 * 10位的数据机器位，可以部署在1024个节点，包括5位datacenterId和5位workerId<br> 
 * 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号<br> 
 * 加起来刚好64位，为一个Long型。<br> 
 * SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。 
 */ 
public class SnowflakeIdWorker { 
</span><span style="color: #008000;">//</span><span style="color: #008000;"> ==============================Fields===========================================</span> 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 开始时间截 (2015-01-01) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> twepoch = 1420041600000L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 机器id所占的位数 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> workerIdBits = 5L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 数据标识id所占的位数 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> datacenterIdBits = 5L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 支持的最大机器id，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> maxWorkerId = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> workerIdBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 支持的最大数据标识id，结果是31 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> maxDatacenterId = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> datacenterIdBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 序列在id中占的位数 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> sequenceBits = 12L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 机器ID向左移12位 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> workerIdShift =<span style="color: #000000;"> sequenceBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 数据标识id向左移17位(12+5) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> datacenterIdShift = sequenceBits +<span style="color: #000000;"> workerIdBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 时间截向左移22位(5+5+12) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> timestampLeftShift = sequenceBits + workerIdBits +<span style="color: #000000;"> datacenterIdBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> sequenceMask = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> sequenceBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 工作机器ID(0~31) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> workerId; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 数据中心ID(0~31) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> datacenterId; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 毫秒内序列(0~4095) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span> sequence = 0L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 上次生成ID的时间截 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span> lastTimestamp = -1L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;">==============================Constructors=====================================</span> 
 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 构造函数 
 * 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> workerId     工作ID (0~31) 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> datacenterId 数据中心ID (0~31) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> SnowflakeIdWorker(<span style="color: #0000ff;">long</span> workerId, <span style="color: #0000ff;">long</span><span style="color: #000000;"> datacenterId) { 
    </span><span style="color: #0000ff;">if</span> (workerId &gt; maxWorkerId || workerId &lt; 0<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0"<span style="color: #000000;">, maxWorkerId)); 
    } 
    </span><span style="color: #0000ff;">if</span> (datacenterId &gt; maxDatacenterId || datacenterId &lt; 0<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0"<span style="color: #000000;">, maxDatacenterId)); 
    } 
    </span><span style="color: #0000ff;">this</span>.workerId =<span style="color: #000000;"> workerId; 
    </span><span style="color: #0000ff;">this</span>.datacenterId =<span style="color: #000000;"> datacenterId; 
} 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;"> ==============================Methods==========================================</span> 
 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 获得下一个ID (该方法是线程安全的) 
 * 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> SnowflakeId 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> <span style="color: #0000ff;">synchronized</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> nextId() { 
    </span><span style="color: #0000ff;">long</span> timestamp =<span style="color: #000000;"> timeGen(); 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常</span> 
    <span style="color: #0000ff;">if</span> (timestamp &lt;<span style="color: #000000;"> lastTimestamp) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span><span style="color: #000000;"> RuntimeException( 
                String.format(</span>"Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp -<span style="color: #000000;"> timestamp)); 
    } 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">如果是同一时间生成的，则进行毫秒内序列</span> 
    <span style="color: #0000ff;">if</span> (lastTimestamp ==<span style="color: #000000;"> timestamp) { 
        sequence </span>= (sequence + 1) &amp;<span style="color: #000000;"> sequenceMask; 
        </span><span style="color: #008000;">//</span><span style="color: #008000;">毫秒内序列溢出</span> 
        <span style="color: #0000ff;">if</span> (sequence == 0<span style="color: #000000;">) { 
            </span><span style="color: #008000;">//</span><span style="color: #008000;">阻塞到下一个毫秒,获得新的时间戳</span> 
            timestamp =<span style="color: #000000;"> tilNextMillis(lastTimestamp); 
        } 
    } 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">时间戳改变，毫秒内序列重置</span> 
    <span style="color: #0000ff;">else</span><span style="color: #000000;"> { 
        sequence </span>= 0L<span style="color: #000000;">; 
    } 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">上次生成ID的时间截</span> 
    lastTimestamp =<span style="color: #000000;"> timestamp; 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">移位并通过或运算拼到一起组成64位的ID</span> 
    <span style="color: #0000ff;">return</span> ((timestamp - twepoch) &lt;&lt; timestampLeftShift) <span style="color: #008000;">// 
 
                | (datacenterId << datacenterIdShift) //
 
                | (workerId << workerIdShift) //
 
                | sequence;
 
} 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 阻塞到下一个毫秒，直到获得新的时间戳 
 * 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> lastTimestamp 上次生成ID的时间截 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> 当前时间戳 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">protected</span> <span style="color: #0000ff;">long</span> tilNextMillis(<span style="color: #0000ff;">long</span><span style="color: #000000;"> lastTimestamp) { 
    </span><span style="color: #0000ff;">long</span> timestamp =<span style="color: #000000;"> timeGen(); 
    </span><span style="color: #0000ff;">while</span> (timestamp &lt;=<span style="color: #000000;"> lastTimestamp) { 
        timestamp </span>=<span style="color: #000000;"> timeGen(); 
    } 
    </span><span style="color: #0000ff;">return</span><span style="color: #000000;"> timestamp; 
} 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 返回以毫秒为单位的当前时间 
 * 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> 当前时间(毫秒) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">protected</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> timeGen() { 
    </span><span style="color: #0000ff;">return</span><span style="color: #000000;"> System.currentTimeMillis(); 
} 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;">==============================Test=============================================</span> 
 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 测试 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">void</span><span style="color: #000000;"> main(String[] args) { 
    </span><span style="color: #0000ff;">long</span> start =<span style="color: #000000;"> System.currentTimeMillis(); 
    SnowflakeIdWorker idWorker </span>= <span style="color: #0000ff;">new</span> SnowflakeIdWorker(1, 3<span style="color: #000000;">); 
    </span><span style="color: #0000ff;">for</span> (<span style="color: #0000ff;">int</span> i = 0; i &lt; 50; i++<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">long</span> id =<span style="color: #000000;"> idWorker.nextId(); 
        System.out.println(Long.toBinaryString(id)); 
        System.out.println(id); 
    } 
    </span><span style="color: #0000ff;">long</span> end =<span style="color: #000000;"> System.currentTimeMillis(); 
    System.out.println(end </span>-<span style="color: #000000;"> start); 
 
} 
 
}

源码实现

可能的输出

         长度：60 value：100001101111110101000011111010101010110101001010000000001000 
         长度：18 value：607937840337428488 
         25

四、优化

 1 import org.apache.commons.lang3.RandomUtils; 
 2 import org.apache.commons.lang3.StringUtils; 
 3 import org.apache.commons.lang3.SystemUtils; 
 4 import org.apache.logging.log4j.Logger; 
 5 import org.apache.logging.log4j.LogManager; 
 6 import org.springframework.beans.factory.annotation.Value; 
 7 import org.springframework.context.annotation.Bean; 
 8 import org.springframework.context.annotation.Configuration; 
 9 import org.springframework.context.annotation.Primary; 
10 import spring.cloud.common.util.id.SnowflakeIdWorker; 
11 import java.net.Inet4Address; 
12 import java.net.UnknownHostException; 
13   
14 /** 
15  * 网上的教程一般存在两个问题： 
16  * 1. 机器ID（5位）和数据中心ID（5位）配置没有解决，分布式部署的时候会使用相同的配置，任然有ID重复的风险。 
17  * 2. 使用的时候需要实例化对象，没有形成开箱即用的工具类。 
18  * 
19  * 本文针对上面两个问题进行解决，笔者的解决方案是，workId使用服务器hostName生成， 
20  * dataCenterId使用IP生成，这样可以最大限度防止10位机器码重复，但是由于两个ID都不能超过32， 
21  * 只能取余数，还是难免产生重复，但是实际使用中，hostName和IP的配置一般连续或相近， 
22  * 只要不是刚好相隔32位，就不会有问题，况且，hostName和IP同时相隔32的情况更加是几乎不可能 
23  * 的事，平时做的分布式部署，一般也不会超过10台容器。使用上面的方法可以零配置使用雪花算法， 
24  * 雪花算法10位机器码的设定理论上可以有1024个节点，生产上使用docker配置一般是一次编译， 
25  * 然后分布式部署到不同容器，不会有不同的配置，这里不知道其他公司是如何解决的，即使有方法 
26  * 使用一套配置，然后运行时根据不同容器读取不同的配置，但是给每个容器编配ID，1024个 
27  * （大部分情况下没有这么多），似乎也不太可能，此问题留待日后解决后再行补充。 
28  */ 
29 @Configuration 
30 public class IdWorkerConfiguration { 
31     Logger logger = LogManager.getLogger(); 
32   
33     @Value("${id.work:noWorkId}") 
34     private String workId; 
35     @Value("${id.dateSource:noDateSource}") 
36     private String dateSource; 
37     @Bean 
38     @Primary 
39     public SnowflakeIdWorker idWorker(){ 
40         return new SnowflakeIdWorker(getWorkFromConfig(),getDateFromConfig()); 
41     } 
42   
43     private Long getWorkFromConfig() { 
44         if ("noWorkId".equals(workId)) { 
45             return getWorkId(); 
46         } else { 
47             //将workId转换为Long 
48             return 2L; 
49         } 
50     } 
51   
52     private Long getDateFromConfig() { 
53         if ("noDateSource".equals(dateSource)) { 
54             return getDataCenterId(); 
55         } else { 
56             //将workId转换为Long 
57             return 2L; 
58         } 
59     } 
60   
61     private Long getWorkId(){ 
62         try { 
63             String hostAddress = Inet4Address.getLocalHost().getHostAddress(); 
64             int[] ints = StringUtils.toCodePoints(hostAddress); 
65             int sums = 0; 
66             for(int b : ints){ 
67                 sums += b; 
68             } 
69             return (long)(sums % 32); 
70         } catch (UnknownHostException e) { 
71             // 如果获取失败，则使用随机数备用 
72             return RandomUtils.nextLong(0,31); 
73         } 
74     } 
75   
76     private Long getDataCenterId(){ 
77         int[] ints = StringUtils.toCodePoints(SystemUtils.getHostName()); 
78         int sums = 0; 
79         for (int i: ints) { 
80             sums += i; 
81         } 
82         return (long)(sums % 32); 
83     } 
84   
85 }

参考文章：

https://blog.csdn.net/java_zhangshuai/article/details/86668974

https://www.cnblogs.com/domi22/p/10629704.html

其他版本：

https://www.cnblogs.com/Hollson/p/9116218.html

原文地址：https://www.cnblogs.com/chaos-li/p/11302820.html

IT序号网数据库

微信公众号号：IT虾米（左侧二维码扫一扫）欢迎添加！

Q : 823053937

热贴推荐

全局唯一iD的生成雪花算法详解及其他用法

一、介绍

二、使用建议

1、改进

2、总结：

三、算法实现

四、优化

Q : 823053937

热贴推荐

全局唯一iD的生成 雪花算法详解及其他用法

一、介绍

二、使用建议

1、改进

2、总结：

三、算法实现

四、优化

sql之H2 数据库 : Abort Query

templates之用数据库的设计替换 Lotus Notes 模板的设计(或使数据库成为模板)

field之Odoo 8之"store=True"的计算字段无法存储在数据库中

sql-server之以前的数据库删除后无法在 Visual Studio SQL Server 对象资源管理器中看到数据库

perl之尝试使用 DBD::SQLite 模块在 PERL 中插入数据库时出现问题

.net之"There is already an open DataReader..."重用或处置数据库连接

datastage之在没有输入或输出的数据阶段运行数据库查询

sql-server之检查数据库是否存在并且当前登录可以访问

sql-server之在 Visio 中对我的数据库进行逆向工程时无法添加 View

Neo4j之根据一组 id 检查数据库中是否有多个项目的最佳方法是什么

.net之从数据库中获取整数前的零

sql之通过链接服务器在远程服务器上创建数据库

全局唯一iD的生成雪花算法详解及其他用法