超4亿条记录InnoDB表：基于max(id)的增量数据同步方案咨询

一、先确认基准ID值 #

• 查询源表当前最大ID：

  SELECT MAX(id) AS source_max_id FROM 源表名;
  

• 查询目标表当前最大ID：

  SELECT MAX(id) AS target_max_id FROM 目标表名;
  

• 注意：目标表设置了AUTO_INCREMENT=1373246706，需确保该值大于target_max_id，避免新写入数据时出现ID冲突。

二、分批次同步缺失数据 #

由于数据量超4亿，必须分批次执行同步，避免长时间锁表影响业务运行：

1. 根据服务器性能设定单次同步的批次大小（建议10000-50000条，可灵活调整）。
2. 循环执行批量插入语句，直到无数据可同步：

   INSERT INTO 目标表名 (id, 字段1, 字段2, ...)
   SELECT id, 字段1, 字段2, ...
   FROM 源表名
   WHERE id > (SELECT COALESCE(MAX(id), 0) FROM 目标表名)
     AND id <= (SELECT MAX(id) FROM 源表名)
   LIMIT 10000;
   

   每次执行后查看受影响行数，当返回0时，说明所有缺失数据已同步完成。
3. 若追求更高效率，可按ID区间分段同步（适合ID连续的场景）：

   -- 示例：同步ID从target_max_id+1到target_max_id+100000的区间数据
   INSERT INTO 目标表名 (id, 字段1, 字段2, ...)
   SELECT id, 字段1, 字段2, ...
   FROM 源表名
   WHERE id BETWEEN (SELECT COALESCE(MAX(id), 0) + 1 FROM 目标表名) 
     AND (SELECT COALESCE(MAX(id), 0) + 100000 FROM 目标表名);
   

   重复调整区间范围，直到覆盖所有大于目标表max_id的源表数据。

三、处理自增起始值的注意事项 #

• 同步完成后，检查目标表的自增配置：

  SELECT AUTO_INCREMENT 
  FROM INFORMATION_SCHEMA.TABLES 
  WHERE TABLE_SCHEMA='你的数据库名' 
    AND TABLE_NAME='目标表名';
  

• 如果同步的最大ID超过1373246705（自增值是下一个待使用的ID），MySQL会自动将AUTO_INCREMENT调整为同步的最大ID+1，无需手动修改；若未超过，保持现有配置即可，不影响新数据写入。

四、验证同步结果 #

• 对比源表和目标表的总记录数：

  SELECT COUNT(*) FROM 源表名;
  SELECT COUNT(*) FROM 目标表名;
  

• 随机抽查多个ID的数据，确认字段内容一致：

  SELECT * FROM 源表名 WHERE id IN (123456, 789012, ...);
  SELECT * FROM 目标表名 WHERE id IN (123456, 789012, ...);
  

内容的提问来源于stack exchange，提问作者Marco Antônio Borges