如何优化Azure Databricks向MySQL写入百万级数据的速度？

一、优先级最高的JDBC参数优化 #

这部分调整成本最低，实测可以带来5-10倍的性能提升：

• 开启MySQL批量写入：默认JDBC驱动会把批量插入拆解为单条执行，必须在JDBC URL后缀加上rewriteBatchedStatements=true才会真正触发批量提交，同时新增batchSize参数控制单次批量提交的行数，建议设置为10000~50000，根据单条数据大小调整。
• 降低事务隔离开销：新增isolationLevel参数设置为READ_COMMITTED，避免高隔离级别带来的锁等待和刷盘开销。
• 关闭不必要的预编译校验：JDBC URL追加useServerPrepStmts=false&cachePrepStmts=true，减少重复预编译SQL的性能损耗。

优化后的代码示例：

newFile.repartition(16).write
  .format("jdbc")
  .option("driver", "com.mysql.cj.jdbc.Driver")
  .mode("append")
  // 核心优化参数追加到URL后
  .option("url", s"${jdbc_url}?rewriteBatchedStatements=true&useServerPrepStmts=false&cachePrepStmts=true")
  .option("dbtable", pathToDBTable)
  .option("user", s"user")
  .option("password", s"pass")
  .option("batchsize", 10000)
  .option("isolationLevel", "READ_COMMITTED")
  .save()

二、MySQL侧配置优化 #

• 临时调整刷盘策略：全量导入前将MySQL参数innodb_flush_log_at_trx_commit设为2、sync_binlog设为0，大幅降低写入时的磁盘刷盘频率，导入完成后再改回原值即可，适合对导入过程安全性要求不高、有数据兜底方案的场景。
• 目标表预处理：写入前先删除目标表的非主键索引、触发器，写入完成后再重建，避免插入过程中频繁更新索引带来的额外开销。
• 表结构优化：尽量使用紧凑的字段类型，避免冗余字段和过长的varchar定义，降低单条数据的写入成本。

三、Databricks侧替代实现方案 #

• 走文件批量导入：先将DataFrame导出为CSV/Parquet格式存储到ADLS/Blob存储中，再在MySQL侧执行LOAD DATA INFILE命令直接导入文件，绕过JDBC的序列化开销，性能可以比JDBC写入高10倍以上，是千万级以上数据导入的最优解。
• 解决数据倾斜：提前检查DataFrame各分区的数据量是否均匀，如果存在分区数据量差异过大的情况，改用repartitionByRange按目标表主键字段分区，避免长尾任务拖慢整体耗时。
• 集群选型优化：将通用集群替换为计算优化型集群，更高的CPU主频可以提升数据序列化、网络传输的效率，缩短写入耗时。

内容的提问来源于stack exchange，提问作者JS noob