雪花算法理解与实现
背景
雪花算法(snowflake)用于分布式环境下生成唯一的ID。在单机时代,我们一般通过数据库自增字段来作为唯一主键,但是进入分布式时代,数据不单单存在一张表中,ID的唯一性就受到了挑战,有推特公司研发的雪花算法就运营而生。
为什么不选择UUID?
说到唯一主键,有的同学就说我用UUID就能解决唯一性问题了,且不依赖ID服务、网络,何乐而不为呢?
选择雪花算法,有以下几点理由
- 排序 相信选择uuid作为主键的同学应该遇到这个问题,想根据主键对数据插入顺序排序总是需要依赖创建时间字段,因为uuid本身是无序的,它无法做到单调递增。特别是在mysql中主键如果不能排序对于索引的性能影响很大。
- id太长 uuid有16字节128位,通常以36长度的字符串表示,mysql建议主键尽量越短越好。
- 数据内容 uuid本身无意义,而雪花算法生成的id能包含很多业务信息、时间信息。
原理
0 - 0000000000000000000000000000000000000000 - 00000 00000 - 000000000000
(1位)固定值 - (41位)时间戳 - (5位)机器id -(5位)服务id - (12位)序号
雪花算法原理就是生成一个的64位比特位的 long 类型的唯一 id。
- 最高1位固定值0,因为生成的 id 是正整数,如果是1就是负数了。
- 接下来41位存储毫秒级时间戳,2^41/(1000606024365)=69,大概可以使用69年。
- 再接下10位存储机器码,包括5位 datacenterId 和5位 workerId。最多可以部署2^10=1024台机器。
- 最后12位存储序列号。同一毫秒时间戳时,通过这个递增的序列号来区分。即对于同一台机器而言,同一毫秒时间戳下,可以生成2^12=4096个不重复 id。
可以将雪花算法作为一个单独的服务进行部署,然后需要全局唯一 id 的系统,请求雪花算法服务获取 id 即可。
对于每一个雪花算法服务,需要先指定机器码及服务码,这个根据自身业务进行设定即可。例如机房号+机器号,机器号+服务号,如果只有一个服务那直接写死就行。
实现
public class SnowflakeIdGenerator {
// 初始时间戳(纪年),可用雪花算法服务上线时间戳的值
// 1649059688068:2022-04-04 16:08:08
private static final long INIT_EPOCH = 1649059688068L;
// 记录最后使用的毫秒时间戳,主要用于判断是否同一毫秒,以及用于服务器时钟回拨判断
private long lastTimeMillis = -1L;
// dataCenterId占用的位数
private static final long DATA_CENTER_ID_BITS = 5L;
// dataCenterId占用5个比特位,最大值31
// 0000000000000000000000000000000000000000000000000000000000011111
private static final long MAX_DATA_CENTER_ID = ~(-1L MAX_DATA_CENTER_ID) {
throw new IllegalArgumentException(
String.format("datacenterId值必须大于0并且小于%d", MAX_DATA_CENTER_ID));
}
// 检查workId的合法值
if (workerId MAX_WORKER_ID) {
throw new IllegalArgumentException(String.format("workId值必须大于0并且小于%d", MAX_WORKER_ID));
}
this.workerId = workerId;
this.datacenterId = datacenterId;
}
/**
* 通过雪花算法生成下一个id,注意这里使用synchronized同步
*
* @return 唯一id
*/
public synchronized long nextId() {
long currentTimeMillis = System.currentTimeMillis();
// 当前时间小于上一次生成id使用的时间,可能出现服务器时钟回拨问题
if (currentTimeMillis
美团公司的Leaf也是一个分布式id的实现方案,后面我们详细分析一下。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net
相关推荐: 对比学习(contrastive learning)
对比学习是一种机器学习技术,算法学习区分相似和不相似的数据点。对比学习的目标是学习数据的表示,以捕捉不同数据点之间的基本结构和关系。 在对比学习中,算法被训练最大化相似数据点之间的相似度,并最小化不相似数据点之间的相似度。通常的做法是通过训练算法来预测两个数据…