
生成一个全局唯一的递增序列号,这听起来简单,但一旦你跳出单机环境,进入分布式系统的世界,它立刻变成了一个需要深思熟虑的问题。核心在于,我们追求的不仅仅是“唯一”,更是“递增”这个特性,它往往承载着业务上的排序、时间戳或者逻辑顺序的意义。简单来说,没有一个放之四海而皆准的银弹,每种方案都有其适用场景和不得不面对的取舍。
要真正实现“全局唯一且递增”的序列号,在我看来,我们需要跳出传统数据库自增ID的局限。一个非常经典且被广泛实践的思路,就是借鉴Twitter的Snowflake算法。
Snowflake的核心思想是,把一个64位的长整型ID,巧妙地拆分成几个部分:
- 时间戳(Timestamp):这是ID递增的关键。通常是毫秒级的时间戳,比如从某个“纪元”(epoch)开始的毫秒数。它占据了ID的最高位,确保了ID的整体递增趋势。
- 机器ID/工作节点ID(Worker ID/DataCenter ID):这部分用于标识生成ID的机器或服务实例。它解决了分布式环境下的“全局唯一”问题。每台机器或每个服务节点都有一个独一无二的ID,这样即使在同一毫秒内,不同机器生成的ID也能区分开。
- 序列号(Sequence Number):这是在同一毫秒内,如果同一台机器生成了多个ID,用来区分它们的。它是一个自增的计数器,通常在每毫秒内用完后会重置。
举个例子,一个典型的Snowflake ID结构可能是这样的:
1位符号位(固定为0) + 41位时间戳 + 10位机器ID + 12位序列号
这意味着:
PIA
全面的AI聚合平台,一站式访问所有顶级AI模型
226
查看详情
- 41位时间戳可以支持大约69年的时间(2^41毫秒),从你设定的纪元开始算。
- 10位机器ID可以支持1024个不同的机器或服务节点(2^10)。
- 12位序列号可以支持每毫秒在单个节点上生成4096个ID(2^12)。
这种设计非常精妙,它将时间、机器标识和局部计数器结合起来,既保证了全局唯一性,又天然地带有时间顺序,并且在大多数情况下,是递增的。
实现上,你需要一个ID生成服务,或者在每个需要生成ID的应用实例中内嵌生成逻辑。关键在于,每个工作节点启动时,需要获取一个唯一的
Worker ID。这通常可以通过配置、ZooKeeper、或者服务注册中心来分配。
当然,这里有个小小的陷阱。如果系统时钟回拨,或者机器ID分配不当,就可能出现ID冲突或者非递增的情况。所以,在实现时,需要对时钟回拨进行严格的检测和处理,比如暂停服务、等待时钟追上、或者拒绝生成ID。至于Worker ID,它的分配和管理,是整个方案健壮性的基石。
// 简化版Snowflake ID生成器示例(仅作概念说明,实际生产环境需更严谨)
public class SnowflakeIdGenerator {
private final long twepoch = 1672531200000L; // 2023-01-01 00:00:00 GMT+8
private final long workerIdBits = 10L;
private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
private final long sequenceBits = 12L;
private final long workerIdShift = sequenceBits;
private final long timestampLeftShift = sequenceBits + workerIdBits;
private final long sequenceMask = -1L ^ (-1L << sequenceBits);
private long workerId;
private long sequence = 0L;
private long lastTimestamp = -1L;
public SnowflakeIdGenerator(long workerId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
}
this.workerId = workerId;
}
public synchronized long nextId() {
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
// 时钟回拨,抛异常或等待
throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
sequence = (sequence + 1) & sequenceMask;
if (sequence == 0) {
// 当前毫秒内序列用完,等待下一毫秒
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0L 以上就是如何生成一个全局唯一的递增序列号?的详细内容,更多请关注知识资源分享宝库其它相关文章!
相关标签: mysql twitter 分布式 timestamp 整型 并发 number 算法 zookeeper 数据库 大家都在看: MySQL内存使用过高(OOM)的诊断与优化配置 MySQL与NoSQL的融合:探索MySQL Document Store的应用 如何通过canal等工具实现MySQL到其他数据源的实时同步? 使用Debezium进行MySQL变更数据捕获(CDC)实战 如何设计和优化MySQL中的大表分页查询方案






发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。