一文带你了解分布式ID生成器Ray


背景

在应用程序中,经常需要全局唯一的ID作为数据库主键。

我们需要什么样的ID生成器

高性能 -> 1.生成性能高 2.插入性能高 3.索引性能高

高可用 -> 1.依赖中间件要少 2.避免单节点问题

不重复 -> 1.集群内全局不重复

易使用 -> 1.接入简单 2.零学习成本

语义性 -> 1.ID带有一些其它信息

如何满足这几点要求

生成性能高 -> 大多数时间为内存分配,减少IO,减少锁

插入性能高 -> 全局递增,避免页分裂

索引性能高 -> 数值类型

全局不重复 -> 分布式一致性

服务高可用 -> 减少依赖中间件,减少中间件交互时间

总结特性

全局递增

数字类型

全局唯一

无锁并发

内存分配

单机生成(大多数时间)

SnowFlake

Twitter把存储系统从MySQL迁移到Cassandra,因为Cassandra没有顺序ID生成机制,所以开发了这样一套全局唯一ID生成服务。Ray的基本思想来自于SnowFlake,解决了一些SnowFlake中存在的一些问题

如何保证单机递增不重复

最简单的思路:时间戳+序列号

伪代码:

If 当前时间 > 上次ID生成时间 -> 当前时间+序列号0

If 当前时间 = 上次ID生成时间 -> 当前时间 + 上次序列号+1

If 当前时间 < 上次ID生成时间 -> 是否存在这种情况

如何保证全局不重复

如何判断两个ID是重复的?我们认为两个ID每一位都是重复的则两个ID重复。

两个重复的数值如果分别拼接上不同的数值,则最终这两个数值不相同,如:

1111和1111,分别拼上1和2

则1111-1和1111-2是不相同的

之前我们在通过时间戳+序列号实现单机内不重复

那么我们只需要保证单机内不重复的ID + 不重复的实例ID(workId)就能保证最终生成的ID不重复

如何保证workId不重复

这是一个分布式一致性问题

这个可以使用分布式锁实现每个实例独占一个workId

并且这仅在启动时和续约时会依赖中间件

即使依赖的中间件中间暂时不可用,只是新的服务不能使用,旧的正常

阶段性总结

全局递增(时间戳自带全局递增)-> 插入,索引高性能

内存分配(分配时无IO)-> 生成高性能

单机生成(仅启动时强依赖中间件)-> 高可用

SnowFlake存在的问题

时钟偏斜问题

现代计算机至少有两种不同的时钟:时钟和单调钟。尽管它们都衡量时间,但区分这两者很重要,因为它们有不同的目的。

时钟

它根据某个日历返回当前日期和时间。例如: Java中的System.currentTimeMillis()返回自epoch(1970年1月1日

午夜 UTC,格里高利历)以来的秒数(或毫秒),根据公历日历,不包括闰秒。

单调钟

适用于测量持续时间(时间间隔),例如Java中的System.nanoTime()都是单调时钟。这个名字来源于他们保证总是前进的事实。

问题

时钟的问题在于,虽然它们看起来简单易用,但却具有令人惊讶的缺陷:一天可能不会有精确的86,400秒,时钟可能会前后跳跃,而一个节点上的时间可能与另一个节点上的时间完全不同。

如果时间往前拨我们就无法确保时间戳+序列号生成的ID是单机唯一的。

单位毫秒内生成数上限

SnowFlake单位毫秒内生成的ID数不能超过12位的序列位

问题总结

也就是说SnowFlake严重依赖于当前时间戳,并且只能处理当前时间戳大于等于上次时间戳的情况,对于当前时间戳小于上次时间戳的情况无法处理。

解决时钟偏斜问题

If 当前时间 > 上次ID生成时间 -> 当前时间+序列号0

If 当前时间 = 上次ID生成时间 -> 当前时间 + 上次序列号+1

If 当前时间 < 上次ID生成时间 ->上次ID生成时间 + 上次序列号 +1

时钟偏斜,时间前跳其实就是等价于当前时间 < 上次ID生成时间

如何记录上次ID生成时间

首先上次ID生成时间记录在当前实例内存中

如果时钟回拨发生在重启时,上次ID生成时间记录会丢

此时新实例拿到了它的workId,并且新机器的时间戳更早就会出现ID重复的情况

所以需要后台定期同步全局最大的时间戳到中间件,实例退出和启动前同步时间戳

无尽的序列号

SnowFlake为什么会出现序列号只有4096位的情况?

1.位数就那么多,你可以从机器位上分配

2.没有进位的空间,只支持当前时间戳>=上次时间戳

Ray支持当前时间<上次时间

意味着4096位用完可以往时间戳上进位,解决突发流量

Ray

Ray参考了SnowFlake的设计,解决了时钟回调和序列号不足的问题,并且提供了更好的并发性能Github地址:github.com/KeshawnVan/…


上面都是自己整理好的!我就把资料贡献出来给有需要的人!顺便求一波关注。

学习我们是认真的,拿大厂offer是势在必得的。java(想了解更多点一下哦)

作者:KeshawnVan

链接:https://juejin.im/post/5e9d402df265da48094da80d

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335