向Amazon Aurora RDS导入200万行数据的最快非DMS方案

以下是针对你的POC场景的高效导入步骤，核心思路是减少网络交互、降低数据库写入开销：

1. 先将单条INSERT合并为批量INSERT #

单条INSERT的事务开销和网络往返次数是性能瓶颈，将多条语句合并为单条批量语句能提升数倍效率。

用脚本快速转换SQL文件，比如awk命令：

awk '/INSERT/{if(NR>1)print ");";print $0" VALUES (";next}{print substr($0,1,length($0)-1)","}END{print ");"}' original_inserts.sql > bulk_inserts.sql

这个命令会把形如INSERT INTO t VALUES(1); INSERT INTO t VALUES(2);的语句合并为INSERT INTO t VALUES(1),(2);。建议每1000-10000条记录合并为一个批量语句（避免单条语句过大导致数据包超限）。

2. 使用MySQL原生客户端直连导入 #

Aurora兼容MySQL协议，用官方mysql命令行工具是最快的导入方式，避免GUI工具的额外开销。

优化后的导入命令：

gzip -c bulk_inserts.sql | mysql -h <AURORA_ENDPOINT> -u <USERNAME> -p<PASSWORD> <DATABASE_NAME> --quick --max_allowed_packet=64M --compress

参数说明：

• --quick：减少客户端内存缓存，直接将SQL语句发送给数据库
• --max_allowed_packet=64M：适配批量INSERT的大语句大小
• --compress：启用数据压缩，降低网络传输时间
• 管道结合gzip：先压缩SQL文件再传输，进一步节省带宽

3. 临时优化Aurora和表结构 #

数据库层面 #

• 临时升级Aurora实例规格：POC阶段可临时切换到更高配置的实例（如r6.large及以上），导入完成后再降配，提升写入IO和CPU性能
• 调整参数组：临时增大innodb_buffer_pool_size（MySQL兼容版），开启innodb_flush_log_at_trx_commit=2（牺牲部分持久性换性能，POC场景可接受）

表层面 #

导入前禁用非主键索引和外键约束，避免每次写入都更新索引和检查外键：

-- 导入前执行
ALTER TABLE your_target_table DISABLE KEYS;
SET FOREIGN_KEY_CHECKS=0;

导入完成后恢复：

-- 导入后执行
SET FOREIGN_KEY_CHECKS=1;
ALTER TABLE your_target_table ENABLE KEYS;

4. 事务控制优化 #

如果批量语句未包含事务，可在SQL文件开头添加START TRANSACTION;，结尾添加COMMIT;，或者通过客户端参数--autocommit=0手动控制事务提交，减少事务提交的开销。

内容的提问来源于stack exchange，提问作者Sam