Twitter的分布式自增ID算法snowflake (Java版)

xmjava 2021年06月14日数据库 285 0

概述

分布式系统中，有一些需要使用全局唯一ID的场景，这种时候为了防止ID冲突可以使用36位的UUID，但是UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。

有些时候我们希望能使用一种简单一些的ID，并且希望ID能够按照时间有序生成。

而twitter的snowflake解决了这种需求，最初Twitter把存储系统从MySQL迁移到Cassandra，因为Cassandra没有顺序ID生成机制，所以开发了这样一套全局唯一ID生成服务。

结构

snowflake的结构如下(每部分用-分开):

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000

第一位为未使用，接下来的41位为毫秒级时间(41位的长度可以使用69年)，然后是5位datacenterId和5位workerId(10位的长度最多支持部署1024个节点），最后12位是毫秒内的计数（12位的计数顺序号支持每个节点每毫秒产生4096个ID序号）

一共加起来刚好64位，为一个Long型。(转换成字符串后长度最多19)

snowflake生成的ID整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞（由datacenter和workerId作区分），并且效率较高。经测试snowflake每秒能够产生26万个ID。

源码

(JAVA版本的源码)

/** 
 * Twitter_Snowflake<br> 
 * SnowFlake的结构如下(每部分用-分开):<br> 
 * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br> 
 * 1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0<br> 
 * 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截) 
 * 得到的值），这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的（如下下面程序IdWorker类的startTime属性）。41位的时间截，可以使用69年，年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br> 
 * 10位的数据机器位，可以部署在1024个节点，包括5位datacenterId和5位workerId<br> 
 * 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号<br> 
 * 加起来刚好64位，为一个Long型。<br> 
 * SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。 
 */ 
public class SnowflakeIdWorker { 
</span><span style="color: #008000;">//</span><span style="color: #008000;"> ==============================Fields===========================================</span> 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 开始时间截 (2015-01-01) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> twepoch = <span style="font-family: Courier New;">1420041600000</span>L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 机器id所占的位数 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> workerIdBits = 5L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 数据标识id所占的位数 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> datacenterIdBits = 5L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 支持的最大机器id，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> maxWorkerId = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> workerIdBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 支持的最大数据标识id，结果是31 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> maxDatacenterId = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> datacenterIdBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 序列在id中占的位数 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> sequenceBits = 12L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 机器ID向左移12位 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> workerIdShift =<span style="color: #000000;"> sequenceBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 数据标识id向左移17位(12+5) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> datacenterIdShift = sequenceBits +<span style="color: #000000;"> workerIdBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 时间截向左移22位(5+5+12) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> timestampLeftShift = sequenceBits + workerIdBits +<span style="color: #000000;"> datacenterIdBits; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">final</span> <span style="color: #0000ff;">long</span> sequenceMask = -1L ^ (-1L &lt;&lt;<span style="color: #000000;"> sequenceBits); 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 工作机器ID(0~31) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> workerId; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 数据中心ID(0~31) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> datacenterId; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 毫秒内序列(0~4095) </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span> sequence = 0L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 上次生成ID的时间截 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">private</span> <span style="color: #0000ff;">long</span> lastTimestamp = -1L<span style="color: #000000;">; 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;">==============================Constructors=====================================</span> 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 构造函数 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> workerId 工作ID (0~31) 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> datacenterId 数据中心ID (0~31) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> SnowflakeIdWorker(<span style="color: #0000ff;">long</span> workerId, <span style="color: #0000ff;">long</span><span style="color: #000000;"> datacenterId) { 
    </span><span style="color: #0000ff;">if</span> (workerId &gt; maxWorkerId || workerId &lt; 0<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0"<span style="color: #000000;">, maxWorkerId)); 
    } 
    </span><span style="color: #0000ff;">if</span> (datacenterId &gt; maxDatacenterId || datacenterId &lt; 0<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span> IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0"<span style="color: #000000;">, maxDatacenterId)); 
    } 
    </span><span style="color: #0000ff;">this</span>.workerId =<span style="color: #000000;"> workerId; 
    </span><span style="color: #0000ff;">this</span>.datacenterId =<span style="color: #000000;"> datacenterId; 
} 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;"> ==============================Methods==========================================</span> 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 获得下一个ID (该方法是线程安全的) 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> SnowflakeId 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> <span style="color: #0000ff;">synchronized</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> nextId() { 
    </span><span style="color: #0000ff;">long</span> timestamp =<span style="color: #000000;"> timeGen(); 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常</span> 
    <span style="color: #0000ff;">if</span> (timestamp &lt;<span style="color: #000000;"> lastTimestamp) { 
        </span><span style="color: #0000ff;">throw</span> <span style="color: #0000ff;">new</span><span style="color: #000000;"> RuntimeException( 
                String.format(</span>"Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp -<span style="color: #000000;"> timestamp)); 
    } 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">如果是同一时间生成的，则进行毫秒内序列</span> 
    <span style="color: #0000ff;">if</span> (lastTimestamp ==<span style="color: #000000;"> timestamp) { 
        sequence </span>= (sequence + 1) &amp;<span style="color: #000000;"> sequenceMask; 
        </span><span style="color: #008000;">//</span><span style="color: #008000;">毫秒内序列溢出</span> 
        <span style="color: #0000ff;">if</span> (sequence == 0<span style="color: #000000;">) { 
            </span><span style="color: #008000;">//</span><span style="color: #008000;">阻塞到下一个毫秒,获得新的时间戳</span> 
            timestamp =<span style="color: #000000;"> tilNextMillis(lastTimestamp); 
        } 
    } 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">时间戳改变，毫秒内序列重置</span> 
    <span style="color: #0000ff;">else</span><span style="color: #000000;"> { 
        sequence </span>= 0L<span style="color: #000000;">; 
    } 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">上次生成ID的时间截</span> 
    lastTimestamp =<span style="color: #000000;"> timestamp; 
 
    </span><span style="color: #008000;">//</span><span style="color: #008000;">移位并通过或运算拼到一起组成64位的ID</span> 
    <span style="color: #0000ff;">return</span> ((timestamp - twepoch) &lt;&lt; timestampLeftShift) <span style="color: #008000;">// 
 
                | (datacenterId << datacenterIdShift) //
 
                | (workerId << workerIdShift) //
 
                | sequence;
 
} 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 阻塞到下一个毫秒，直到获得新的时间戳 
 * </span><span style="color: #808080;">@param</span><span style="color: #008000;"> lastTimestamp 上次生成ID的时间截 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> 当前时间戳 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">protected</span> <span style="color: #0000ff;">long</span> tilNextMillis(<span style="color: #0000ff;">long</span><span style="color: #000000;"> lastTimestamp) { 
    </span><span style="color: #0000ff;">long</span> timestamp =<span style="color: #000000;"> timeGen(); 
    </span><span style="color: #0000ff;">while</span> (timestamp &lt;=<span style="color: #000000;"> lastTimestamp) { 
        timestamp </span>=<span style="color: #000000;"> timeGen(); 
    } 
    </span><span style="color: #0000ff;">return</span><span style="color: #000000;"> timestamp; 
} 
 
</span><span style="color: #008000;">/**</span><span style="color: #008000;"> 
 * 返回以毫秒为单位的当前时间 
 * </span><span style="color: #808080;">@return</span><span style="color: #008000;"> 当前时间(毫秒) 
 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">protected</span> <span style="color: #0000ff;">long</span><span style="color: #000000;"> timeGen() { 
    </span><span style="color: #0000ff;">return</span><span style="color: #000000;"> System.currentTimeMillis(); 
} 
 
</span><span style="color: #008000;">//</span><span style="color: #008000;">==============================Test=============================================</span> 
<span style="color: #008000;">/**</span><span style="color: #008000;"> 测试 </span><span style="color: #008000;">*/</span> 
<span style="color: #0000ff;">public</span> <span style="color: #0000ff;">static</span> <span style="color: #0000ff;">void</span><span style="color: #000000;"> main(String[] args) { 
    SnowflakeIdWorker idWorker </span>= <span style="color: #0000ff;">new</span> SnowflakeIdWorker(0, 0<span style="color: #000000;">); 
    </span><span style="color: #0000ff;">for</span> (<span style="color: #0000ff;">int</span> i = 0; i &lt; 1000; i++<span style="color: #000000;">) { 
        </span><span style="color: #0000ff;">long</span> id =<span style="color: #000000;"> idWorker.nextId(); 
        System.out.println(Long.toBinaryString(id)); 
        System.out.println(id); 
    } 
} 
 
}