PySpark过滤DataFrame后写入MySQL速度异常缓慢问题求助

1. 优化分区分布 #

你当前过滤后仍保留20个分区，大概率存在大量空分区/数据分布严重倾斜的问题：Spark写入JDBC时每个分区都会独立创建MySQL连接，空分区会产生大量无效连接开销；如果数据集中在少数分区，也会导致单个分区写入成为瓶颈。

• 先查看过滤后各分区的数据量：

filteredDF.rdd.glom().map(lambda x: len(x)).collect()

• 根据实际数据量合并/重分区：过滤后数据量仅为万级的话，建议合并到3~5个分区即可，避免无效连接开销：

# 合并分区（无shuffle，适合数据量缩减场景）
filteredDF = filteredDF.coalesce(5)

2. 开启JDBC批量写入配置 #

默认JDBC写入为单行提交，性能极差，需要手动开启批量写入参数：

• 在JDBC连接URL中添加rewriteBatchedStatements=true参数，示例：
  jdbc:mysql://你的MySQL地址:3306/库名?rewriteBatchedStatements=true
• 写入时配置批量提交行数，建议设置为1000~5000：

filteredDF.write.format('jdbc')
  .option("url", "上述带参数的JDBC URL")
  .option("batchsize", 2000)
  # 覆盖写入场景可加truncate参数，避免删表重建开销
  .option("truncate", "true")
  .save()

3. 检查执行计划避免多余开销 #

如果上述调整后性能仍未达标，可打印执行计划确认是否存在多余的Shuffle任务：

filteredDF.explain()

重点排查新增total字段的逻辑是否引入了不必要的宽依赖，导致过滤后Stage数量激增。

4. 可选优化（适合表有大量索引的场景） #

如果写入的目标表存在多个二级索引，可先临时禁用索引，写入完成后再重建，减少写入时的索引更新开销。

内容的提问来源于stack exchange，提问作者mpunit30