PySpark 1.6：通过JDBC将DataFrame写入MySQL性能低下问题排查

嘿，我太懂这种Spark处理飞快但JDBC写入慢到离谱的糟心情况了——5000行写10分钟绝对是不正常的，咱们从几个核心方向来优化，大部分情况下调完就能看到质的提升：

1. 开启批量写入+MySQL驱动批量重写（最关键！） #

Spark JDBC默认的写入逻辑可能是单条执行INSERT，这在MySQL里效率极低。你需要强制开启批量写入，同时让MySQL驱动把多条INSERT合并成批量语句，这一步通常能把速度提升几十倍。

在你的write.jdbc里添加这些参数：

df_name.write \
    .option("batchsize", "1000")  # 每次批量插入1000行，可根据内存调整为500-5000
    .option("driver", "com.mysql.cj.jdbc.Driver")
    # 核心MySQL驱动参数，必须开启才能真正实现批量写入
    .jdbc(
        url=mysql_url.value,
        table=tbl_name,
        mode=mode.value,
        properties={
            "user": "your_mysql_user",
            "password": "your_mysql_pwd",
            "rewriteBatchedStatements": "true",
            "useServerPrepStmts": "false"  # 配合rewrite参数禁用服务器端预编译，确保批量生效
        }
    )

2. 给DataFrame分区，并行写入 #

如果你的DataFrame没有分区，Spark只会用一个Task执行写入，相当于单线程干活。哪怕只有5000行，分成几个小分区并行写入也能明显提速：

# 根据集群资源调整分区数，2-4个足够，避免连接数过载
df_name.repartition(4) \
    .write \
    # 跟上上面的批量写入配置...

小提示：如果DataFrame本身有天然分区键（比如日期、ID范围），用partitionBy比repartition更高效，能避免不必要的数据 shuffle。

3. 调整JDBC连接的额外优化参数 #

再给MySQL连接加几个小参数，进一步减少通信开销：

properties={
    # ...其他参数
    "useSSL": "false",  # 不需要SSL加密时关闭，减少握手开销
    "cachePrepStmts": "true",  # 缓存预编译语句，重复使用时更快
    "prepStmtCacheSize": "250",
    "prepStmtCacheSqlLimit": "2048"
}

4. 针对MySQL表的优化 #

如果写入慢的问题还存在，看看目标表本身的设置：

• 临时禁用索引/外键：如果表有大量索引或外键，写入时维护这些结构会非常耗时。可以在写入前执行SET FOREIGN_KEY_CHECKS=0; ALTER TABLE tbl_name DISABLE KEYS;，写完后再执行ALTER TABLE tbl_name ENABLE KEYS; SET FOREIGN_KEY_CHECKS=1;（注意：InnoDB仅支持禁用非唯一索引，外键检查可全局关闭）
• 使用TRUNCATE模式：如果写入模式是overwrite，添加option("truncate", "true")，Spark会直接调用MySQL的TRUNCATE TABLE，比默认的DELETE全表快得多，还能减少日志生成。
• 调整InnoDB参数：如果是InnoDB表，可临时把innodb_flush_log_at_trx_commit设为2（牺牲一点事务安全性换写入速度，需根据业务场景评估）

5. 检查Spark资源配置 #

如果你的Spark集群资源给得太少，比如只有1个executor，哪怕并行写入也跑不起来。提交任务时可以加这些参数：

spark-submit \
    --num-executors 2 \
    --executor-cores 2 \
    --executor-memory 2g \
    your_python_app.py

5000行的任务不需要太多资源，2个executor足够。

优化后的完整代码示例 #

# 先对DataFrame做分区优化
optimized_df = df_name.repartition(4)

# 配置MySQL连接参数
mysql_properties = {
    "user": "your_user",
    "password": "your_pwd",
    "driver": "com.mysql.cj.jdbc.Driver",
    "rewriteBatchedStatements": "true",
    "useServerPrepStmts": "false",
    "useSSL": "false",
    "cachePrepStmts": "true"
}

# 执行写入
optimized_df.write \
    .mode(mode.value) \
    .option("batchsize", "1000") \
    .option("truncate", "true")  # overwrite模式推荐开启
    .jdbc(
        url=mysql_url.value,
        table=tbl_name,
        properties=mysql_properties
    )

先试试前两个优化（批量写入+分区），基本能解决90%的慢写入问题。如果还是不行，再逐步排查MySQL表配置和Spark资源。

内容的提问来源于stack exchange，提问作者lordelf