如何为超100MB大型MySQL SQL转储按指定位置插入固定SQL块优化导入

之前在各类技术社区查找过不少基于sed、awk处理大文件的方案，始终没找到适配当前场景的可用解法。此前曾遭遇MySQL转储文件导入效率极低的问题，甚至中断过连续运行1小时的导入流程；对照公开优化指南验证后发现，只要在转储文件的指定位置插入对应优化语句，就能将总导入耗时压缩到3分钟。

明确的插入规则 #

• 在转储文件中首次出现COMMIT;语句的位置之后，插入第一块静态SQL内容，包含禁用目标表索引、关闭外键检查、关闭唯一检查、关闭自动提交等导入前置优化语句
• 在转储文件中第二次（也是全文件最后一次）出现COMMIT;语句的位置之前，插入第二块静态SQL内容，包含重新开启唯一检查、外键检查的导入收尾校验语句
• 在整个转储文件的末尾，插入第三块静态SQL内容，包含重新启用对应表索引的语句

落地实现思路 #

这类优化后的转储文件每隔数周或数月就会重新拉取更新，纯手动编辑插入不仅效率低，还容易出现位置偏移、内容漏插的问题。我目前将三个待插入的固定SQL块单独存储为独立文本文件，同时在测试文件中调试优化了基于awk的实现脚本，可准确匹配三个插入位置完成内容拼接，最终实现全流程的自动化处理，完全替代手动编辑环节。

内容的提问来源于stack exchange，提问作者Gunnar