MySQL8导入15GB CSV性能优化及LOAD DATA配置有效性问询

具体优化方案 #

下面是针对你的场景的可落地优化步骤，按优先级排序：

1. 优化LOAD DATA/mysqlimport的执行参数

• 明确指定字段分隔符、换行符等，避免MySQL自动猜测：

  mysqlimport --user="root" --password="pass" --local --use-threads=8 --fields-terminated-by=',' --lines-terminated-by='\n' mytable /tmp/mydata.csv
  

• 如果CSV有表头，加上--ignore-lines=1跳过表头解析。
• 导入前临时关闭约束检查（即使表无索引，也能避免潜在的隐性开销）：
  在执行mysqlimport前，先登录MySQL执行：

  SET GLOBAL unique_checks = 0;
  SET GLOBAL foreign_key_checks = 0;
  SET GLOBAL autocommit = 0;
  

  导入完成后再恢复：

  SET GLOBAL unique_checks = 1;
  SET GLOBAL foreign_key_checks = 1;
  SET GLOBAL autocommit = 1;
  

2. 调整InnoDB核心配置（需重启MySQL生效）

• 调大innodb_log_buffer_size到64M-128M：

  innodb_log_buffer_size = 64M
  

  更大的日志缓冲区能减少redo日志刷盘的频率，缓解IO压力。
• 增大innodb_log_file_size到2G（最大不超过4G，避免恢复时间过长）：

  innodb_log_file_size = 2G
  

  减少checkpoint的触发频率，降低IO开销。
• 增加innodb_buffer_pool_instances到8（与你的线程数对应）：

  innodb_buffer_pool_instances = 8
  

  减少buffer pool的锁竞争，提升并行导入的效率。
• 降低tmp_table_size和max_heap_table_size到4G：
  你当前设置的20G过于冗余，这两个参数针对临时表，导入时用不到这么大，避免内存浪费。

3. 优化并行导入策略

• 提前拆分大CSV为多个小文件：比如把3000万行的CSV拆成8个375万行的小文件，然后用mysqlimport并行导入，这样每个线程处理独立的文件，减少单文件并行拆分的开销。
• 调整线程数：如果服务器CPU使用率未达100%，可以尝试把--use-threads调到12或16，但注意线程数过多会带来CPU竞争，需结合实际负载调整。

4. 其他细节优化

• 直接使用服务器端文件路径，去掉--local参数：如果CSV文件在MySQL服务器本地（你的RAM盘在服务器上），直接用服务器端路径，避免客户端到服务器的文件传输开销：

  mysqlimport --user="root" --password="pass" --use-threads=8 mytable /tmp/mydata.csv
  

• 临时关闭自适应哈希索引：如果CPU负载很高，执行SET GLOBAL innodb_adaptive_hash_index = OFF;，导入完成后再开启，减少CPU额外开销。

预期效果 #

通过以上优化，你的导入吞吐量应该能提升到30-50MB/s左右，具体取决于服务器的CPU、内存配置。因为列数过多的解析开销是无法完全消除的，但可以通过减少额外的IO、锁竞争、冗余操作来最大化性能。

内容的提问来源于stack exchange，提问作者membersound