MySQL到Teradata类SQL库5亿行数据迁移及校验的最优Python方案咨询

一、高效数据复制的核心实现方案 #

针对5亿行的大规模数据，Python实现迁移的核心是避免内存溢出、最大化读写并行、降低数据库开销，具体方案如下：

• 分块流式读取+批量写入
  禁止一次性加载全量数据到内存，采用范围分片读取替代LIMIT offset, size（大offset会导致MySQL全表扫描）：每次基于主键/自增ID的范围查询，比如SELECT * FROM table1 WHERE id > %s LIMIT %s，每次读取10万-50万行（根据服务器内存调整）。
  Teradata端使用参数化批量插入，借助teradatasql驱动的fast_executemany=True选项，或者将数据打包成批量插入语句，减少网络交互次数和数据库解析开销。
• 多进程并行处理
  单进程处理速度受限，可按数据范围拆分多个独立任务，用multiprocessing模块启动多个进程（进程数建议等于CPU核心数的1.5倍，同时不超过数据库连接上限），每个进程单独建立MySQL和Teradata连接，负责一个分片的读写。注意避免进程间共享数据库连接，防止锁冲突。
• 预处理优化
  • 提前在Teradata创建与MySQL结构一致的目标表，临时删除所有非主键索引、外键约束，迁移完成后再重建——索引维护是插入性能的最大瓶颈，临时移除可将插入速度提升数倍。
  • 调整Teradata会话参数，比如设置SET SESSION CHARACTERISTICS AS TRANSACTION ISOLATION LEVEL READ UNCOMMITTED;减少事务日志开销，或启用批量加载模式（如利用Teradata FastLoad的Python封装）。
• 数据类型提前适配
  提前映射MySQL与Teradata的数据类型：比如MySQL的DATETIME对应Teradata的TIMESTAMP(6)，TEXT对应CLOB，DECIMAL对应NUMBER。读取MySQL数据时直接转换为Teradata兼容的类型，避免数据库端自动转换带来的性能损耗和错误。

二、跨数据库数据校验的优化方案 #

5亿行全量逐行对比完全不现实，需采用分层校验、抽样验证的策略，具体如下：

• 分块哈希校验
  沿用迁移时的分片规则，分别计算MySQL和Teradata每个分片的整体哈希值（如对分片内所有字段拼接后的字符串计算MD5/SHA-256），对比分片哈希是否一致。可并行计算各分片哈希，大幅减少校验时间。
• 核心统计指标校验
  先快速对比全局统计值，快速排查明显差异：
  • 总行数：SELECT COUNT(*) FROM table1
  • 数值型字段聚合值：SUM(col1), AVG(col2), MAX(col3), MIN(col4)（注意精度问题，比如浮点型字段可保留足够小数位对比）
  • 字符串字段聚合哈希：SELECT MD5(GROUP_CONCAT(col ORDER BY id)) FROM table1（大表可分块计算后再合并哈希）
• 随机抽样校验
  随机抽取0.05%-0.1%的数据（约25万-50万行）进行逐行全字段对比。抽样可通过生成随机主键范围，或用数据库原生抽样语句：MySQL用SELECT * FROM table1 ORDER BY RAND() LIMIT 500000，Teradata用SELECT * FROM table1 SAMPLE 500000，确保抽样覆盖不同数据区间。
• 主键范围一致性校验
  对比两边主键的最小值、最大值，以及分片后的主键区间是否完全覆盖，避免出现数据丢失或重复插入的情况。
• 增量校验（可选）
  若后续需要定期同步，记录迁移完成时MySQL的最大主键值或最后更新时间，后续校验仅针对增量数据，大幅缩小校验范围。

内容的提问来源于stack exchange，提问作者NaN