为何MySQL的LOAD DATA INFILE会缓存数据至内存且CPU占用高？

核心现象拆解 #

• 内存占用上升：MySQL在内存充足时会将整个文件加载至内存缓冲区，这是LOAD DATA INFILE的默认优化策略，目的是减少磁盘IO次数，但会直接导致内存占用飙升。
• 耗时差异：4G文件导入耗时约1分钟，而复制到tmpfs仅需数秒，说明导入过程绝非单纯的文件拷贝，存在明显的CPU密集型处理。

可能的CPU密集型操作（含排序相关） #

1. 数据解析与类型转换 #

二进制TSV虽为结构化格式，但MySQL需要逐行解析字段，同时将二进制数据转换为表定义的对应数据类型（如整数、字符串、二进制类型等），这个转换过程会消耗大量CPU资源。

2. 索引维护 #

若目标表存在主键、唯一索引或普通索引，MySQL在导入每一行数据时都要更新索引结构——尤其是B+Tree索引的插入操作，涉及节点分裂、排序调整，这是典型的CPU密集型任务，也是导入耗时增加的关键原因之一。

3. 隐式排序场景 #

如果表定义了主键/唯一键，且导入数据未按主键顺序排列，MySQL会在内存中对数据进行排序（依赖sort_buffer_size配置的缓冲区）；若数据量超出缓冲区大小，还会触发磁盘临时文件排序，进一步拉长耗时。即便数据有序，索引维护过程也会涉及内部排序逻辑。

4. 约束校验 #

若表存在外键约束、非空约束、自定义触发器等，MySQL会逐行执行校验逻辑，同样会消耗CPU资源。

验证与优化建议 #

• 验证排序是否存在：执行SHOW PROCESSLIST查看进程状态，若显示Sorting for group或索引维护相关的排序状态，则说明存在排序操作；也可通过SHOW ENGINE INNODB STATUS查看INSERT BUFFER AND ADAPTIVE HASH INDEX部分的统计，判断索引维护的开销。
• 优化导入速度：
  • 临时关闭索引：导入前执行ALTER TABLE your_table DISABLE KEYS，完成后执行ENABLE KEYS，让MySQL批量构建索引，减少逐行插入的排序开销。
  • 关闭约束校验：临时设置SET FOREIGN_KEY_CHECKS=0和SET UNIQUE_CHECKS=0，导入完成后恢复配置。
  • 调整内存配置：适当调大bulk_insert_buffer_size（针对MyISAM）或innodb_buffer_pool_size（针对InnoDB），让MySQL在内存中处理更多数据，减少磁盘交互。
  • 并行导入：若使用MySQL 8.0+，可尝试LOAD DATA INFILE的PARALLEL选项，利用多CPU核心加速导入。

内容的提问来源于stack exchange，提问作者Yosef Yudilevich