SQL Server批量插入操作后产生重复行的技术问询

这种分层批量插入的场景我之前做项目时也遇到过，用UUID绕开PostgreSQL那种批量返回主键的特性限制，确实是个务实的思路。不过这里有几个可以优化的点和细节要注意，能帮你提升效率和避免坑：

核心逻辑复盘 #

你当前的做法逻辑是通顺的：

• 提前为每一层数据生成UUID作为唯一标识
• 先插入顶层数据，再通过UUID查询出对应行的关联字段（比如数据库自增ID）
• 用这些关联字段插入下一层数据，逐层递进

关键优化点 #

1. 避免重复查询，批量缓存UUID与数据库行的映射 #

每次插入后单独查UUID对应的行太耗时了，尤其是数据量很大的时候。建议改成批量处理：

• 插入顶层数据时，把生成的UUID和插入数据绑定，插入完成后一次性批量查询所有UUID对应的数据库记录，把UUID和实际主键（或关联字段）存在一个哈希表（比如Python的dict、Java的HashMap）里
• 后续下层数据插入时，直接从哈希表中取对应的关联值，不用再反复查询数据库

举个伪代码示例：

# 生成顶层数据的UUID和对应内容
top_level_data = [
    {"uuid": "a1b2c3d4-1234-5678-90ab-cdef01234567", "name": "顶层数据1"},
    {"uuid": "a1b2c3d4-1234-5678-90ab-cdef01234568", "name": "顶层数据2"}
]

# 批量插入顶层数据
execute_batch_insert(
    "INSERT INTO top_table (uuid, name) VALUES (%s, %s)",
    [(item["uuid"], item["name"]) for item in top_level_data]
)

# 批量查询UUID对应的主键，构建映射表
uuid_list = [item["uuid"] for item in top_level_data]
results = execute_query(
    "SELECT id, uuid FROM top_table WHERE uuid IN %s",
    (tuple(uuid_list),)
)
uuid_to_id = {row["uuid"]: row["id"] for row in results}

# 生成下层数据并批量插入
bottom_level_data = [
    {"top_id": uuid_to_id["a1b2c3d4-1234-5678-90ab-cdef01234567"], "content": "下层数据1"},
    {"top_id": uuid_to_id["a1b2c3d4-1234-5678-90ab-cdef01234568"], "content": "下层数据2"}
]
execute_batch_insert(
    "INSERT INTO bottom_table (top_id, content) VALUES (%s, %s)",
    [(item["top_id"], item["content"]) for item in bottom_level_data]
)

2. 确保UUID的唯一性 #

虽然标准UUID的重复概率极低，但批量生成时最好做个去重检查——尤其是如果你的生成逻辑不是标准的UUID算法（比如自定义的短UUID），避免因为重复UUID导致插入失败或关联错误。

3. 用事务包裹全流程 #

把整个分层插入的操作放在一个数据库事务里：

• 只要某一层插入失败，整个批次都回滚，避免出现数据不一致（比如顶层插入成功，下层插入失败，导致孤立的顶层数据）
• 事务还能提升批量操作的性能，减少数据库提交次数

4. 直接用UUID作为主键（如果数据库支持） #

如果你的数据库支持UUID作为主键（比如MySQL 8.0+、SQL Server），可以直接把UUID设为主键，这样插入后就不用再查询自增ID了，直接用生成的UUID作为关联字段插入下一层，能省掉查询映射的步骤，效率更高。

比如建表语句可以改成这样：

CREATE TABLE top_table (
    uuid CHAR(36) PRIMARY KEY,
    name VARCHAR(255) NOT NULL
);

插入顶层数据后，直接用原来生成的UUID作为下层表的top_uuid字段插入即可，完全不用查数据库。

额外注意事项 #

• 批量插入时要注意数据库的批量操作限制（比如MySQL的max_allowed_packet），如果数据量特别大，要分批次插入，避免触发报错
• 如果是高并发场景，要注意UUID生成的线程安全性（比如Java中UUID.randomUUID()是线程安全的，但自定义生成逻辑要确保线程安全）

内容的提问来源于stack exchange，提问作者Jeremy Weirich