如何优化向MySQL写入结果的Node.js蒙特卡洛模拟程序？

1. 工作线程自行插入数据库能否提速？ #

可以提速，核心原因是MySQL支持并发连接与查询处理，并非只能单线程处理请求。

之前的架构里，所有工作线程完成模拟后都要等待主线程集中执行插入，I/O操作完全串行，成为了性能瓶颈。改成每个线程模拟完成后直接插入，能把I/O操作并行化，让数据库同时处理多个插入请求，充分利用CPU和数据库的并发能力，减少整体等待时间。

需要注意的是：不要给每个线程创建独立的长连接，建议用Node.js的数据库连接池（比如mysql2/promise的连接池），让线程从池里获取连接，用完归还，避免连接数超过MySQL的max_connections限制（默认151），导致数据库资源耗尽。

2. 服务器端优化INSERT操作的实用手段 #

批量插入优化 #

• 调整批量大小：当前10万局一批的设置可以测试上调（比如20万、50万，根据内存和数据库负载调整），减少INSERT语句的执行次数，降低网络和语句解析开销。
• 用多行INSERT语法：采用INSERT INTO table (col1, col2) VALUES (...), (...), (...)的格式，比单条INSERT循环执行效率高数倍。

事务与提交优化 #

• 关闭自动提交：执行SET autocommit = 0，将单次批量插入放在一个事务中，完成后再执行COMMIT，减少事务提交的磁盘刷写次数。
• 调整日志刷写策略：如果能接受少量数据丢失的风险（比如模拟数据可以重跑），将innodb_flush_log_at_trx_commit设为2（每秒刷一次日志到磁盘），默认值1是每次提交都刷，安全但性能低。

InnoDB核心配置优化 #

• 增大innodb_buffer_pool_size：建议设置为服务器内存的50%-70%（比如16G内存的机器设为10G），让更多数据和索引缓存到内存，减少磁盘I/O。
• 调大innodb_log_file_size：设置为2G左右（最大不超过4G），减少日志文件切换的频率，提升写入效率。
• 增加写入线程数：将innodb_write_io_threads设为8，提升InnoDB的并行写入能力。

索引优化 #

• 临时禁用非必要索引：插入前执行ALTER TABLE table_name DISABLE KEYS，插入完成后再执行ALTER TABLE table_name ENABLE KEYS，避免每次插入都更新多个索引的开销。
• 使用自增主键：InnoDB的聚簇索引是主键，自增主键的插入是顺序写入，比随机主键的插入效率高很多。

极端场景优化 #

• 使用LOAD DATA INFILE：如果能将模拟结果导出为CSV格式，用这个命令导入数据比普通INSERT快一个数量级，适合超大规模数据导入。
• 关闭二进制日志：如果不需要备份或主从复制，执行SET sql_log_bin = 0，减少日志写入的额外开销。

内容的提问来源于stack exchange，提问作者Gabriel Rubinstein