MySQL Workbench大CSV导入提速 优化LOAD DATA INFILE耗时问题

基础语句硬伤修复 #

• 原建表语句中Lambda_Ende字段未指定数据类型，属于语法不合法，需根据字段特征补全对应类型（参考同表数值列配置，建议设为DOUBLE）
• 提前校验主键字段Betriebspunkt的全量数据无重复值，避免导入过程中触发唯一约束冲突、回滚拖慢整体流程

单连接导入的基础提速优化（无需拆分文件即可缩短60%以上耗时） #

导入前置参数配置 #

在导入开始前依次执行以下会话级设置，跳过导入阶段的非必要校验与刷盘开销：

-- 关闭自动提交，批量合并事务刷盘动作
SET autocommit = 0;
-- 关闭唯一值校验、外键校验，跳过逐行数据的实时约束判断
SET unique_checks = 0;
SET foreign_key_checks = 0;

待全量数据导入完成后再恢复设置：

SET autocommit = 1;
SET unique_checks = 1;
SET foreign_key_checks = 1;
-- 全量数据落盘后统一创建主键，远快于导入过程中逐行维护主键索引
ALTER TABLE test ADD PRIMARY KEY (Betriebspunkt);

核心提速逻辑：导入初始阶段的空表不要预先创建主键，导入过程中所有行都是顺序写入，无随机IO；等全部数据写完再统一构建B+树主键索引，这部分流程的耗时会比逐行维护索引降低90%以上。

实例参数适配调整 #

在MySQL配置文件my.ini的对应实例配置段调整以下参数，重启实例后生效：

• innodb_flush_log_at_trx_commit = 2：将事务日志刷盘策略从“每次提交强制落盘”调整为“每秒落盘”，导入阶段无需严格的事务持久性，可大幅减少磁盘IO等待
• innodb_buffer_pool_size：调整为服务器物理内存的60%~70%，让导入过程的缓存操作全部命中内存
• bulk_insert_buffer_size：调整为16M以上，优化批量插入的缓存写入效率

列类型冗余精简 #

当前表中多个phi_*角度类字段定义为VARCHAR(25)，如果实际存储的是数值型的角度值，可直接改为DOUBLE类型，减少文本解析、存储的额外开销，同步缩小后续索引的整体体积。

拆分文件并行导入实操方法 #

前置准备 #

• 调整MySQL实例的max_connections参数，确保最大连接数大于并行导入的进程数（例如计划4路并行，设置连接数上限为200即可）
• 确认拆分后的文件路径在MySQL的secure_file_priv允许的读取范围内，否则会触发文件读取权限报错
• 按行边界拆分原CSV文件，避免硬切字节导致单行数据截断报错，Windows环境可通过PowerShell执行拆分，将3.2GB文件拆为4个大小相近的分片：

# 按每20万行拆分一个文件，自动识别换行边界
Get-Content "原始CSV全路径" -ReadCount 200000 | ForEach-Object -Begin {$i=1} -Process { 
  $_ | Out-File "C:/temp/split_$i.csv" -Append
  $i++ 
}

• 拆分完成后删除每个分片文件的表头行，确保每个分片的第一行就是有效数据，导入时无需再加IGNORE 1 ROWS参数

并行导入执行 #

• 确保待导入的test表为空、无任何主键/二级索引
• 开启4个独立的MySQL Workbench连接，每个连接执行对应分片的LOAD DATA INFILE命令：

-- 连接1导入分片1
LOAD DATA INFILE 'C:/temp/split_1.csv' INTO TABLE test
FIELDS TERMINATED BY ','
ENCLOSED BY '"' 
LINES TERMINATED BY '\n';

-- 连接2导入分片2
LOAD DATA INFILE 'C:/temp/split_2.csv' INTO TABLE test
FIELDS TERMINATED BY ','
ENCLOSED BY '"' 
LINES TERMINATED BY '\n';

剩余分片按照相同逻辑在独立连接中执行导入

注意：所有分片全部导入完成后，再统一执行主键创建操作，避免多进程同时写入同一个B+树索引产生锁等待，抵消并行提速的效果

优化后预期效果 #

• 仅开启单连接参数优化、无索引导入：1050万行/3.2GB数据集的导入耗时可降至3~4分钟
• 叠加4路并行拆分导入：导入耗时可进一步降至1.5~2.5分钟

内容的提问来源于stack exchange，提问作者Luis