Snowflake序列/自增列不生成连续数值问题求助

问题原因 #

Snowflake的AUTOINCREMENT、IDENTITY列本质是基于带缓存的序列实现的，默认缓存大小为100。当你批量插入数据时，Snowflake会预取一整个缓存段的序列值，即使只使用了其中一部分（比如你首次加载的40条），剩余未使用的缓存值会被直接丢弃。后续插入时，序列会从下一个缓存段的起始值开始，若中间有其他会话或操作消耗了部分缓存值，就会出现你遇到的跳变情况（比如从118开始）。手动创建的序列默认也采用100的缓存大小，因此会出现同样问题。

解决方案 #

1. 创建无缓存的序列（适合需严格连续ID的场景） #

创建序列时指定CACHE 1，每次仅预取一个序列值，确保ID连续，但会牺牲一定性能（每次获取序列值都需要与元数据存储交互）：

-- 创建缓存为1的序列
CREATE SEQUENCE my_sequence CACHE 1;

-- 创建表时关联该序列
CREATE TABLE target_table (
    id INT DEFAULT my_sequence.NEXTVAL PRIMARY KEY,
    -- 其他列定义
    col1 VARCHAR(50),
    col2 INT
);

2. 手动重置序列起始值（适合迁移后补数据） #

如果只是迁移后需要继续从上次的最大值连续插入，可先查询当前表的最大ID，再重置序列的起始值：

-- 查询当前表的最大ID值
SELECT MAX(id) FROM target_table;

-- 假设查询结果为40，重置序列从41开始
ALTER SEQUENCE my_sequence RESTART WITH 41;

若使用的是IDENTITY列，可通过DESCRIBE TABLE target_table找到其关联的序列名称，再执行上述ALTER SEQUENCE命令。

3. 迁移时直接导入源ID（推荐） #

如果SQL Server源数据本身有连续的IDENTITY列，迁移时直接将源ID值导入Snowflake表的对应列即可，无需让Snowflake自动生成ID，从根源避免序列跳变问题：

-- 创建表时定义ID列，不使用自增/序列
CREATE TABLE target_table (
    id INT PRIMARY KEY,
    col1 VARCHAR(50),
    col2 INT
);

-- 导入SQL Server数据时直接映射ID列
COPY INTO target_table (id, col1, col2)
FROM '@stage/sql_server_data'
FILE_FORMAT = (TYPE = CSV);

内容的提问来源于stack exchange，提问作者BEING_CODER