Spark集群JDBC写入仅单Executor执行Stage0，为何未并行？

问题场景 #

Docker部署的Spark集群：1个Master节点 + 3个Worker节点（每个Worker配置4核2G内存）。通过pyspark Shell执行以下操作：

1. 从Oracle读取数据生成DataFrame
2. 执行df.repartition(24)完成重分区
3. 将数据写入MySQL数据库
   触发DAG执行后，仅1个Executor处理Stage0任务，但已确认DataFrame的24个分区数据分布均匀。

核心原因 #

Spark JDBC写入的默认行为是单线程写入，哪怕DataFrame已经被分成多分区。这是因为JDBC Writer默认未配置并行写入参数，只会创建一个数据库连接处理所有分区的数据，导致所有写入任务集中在一个Executor上执行。

你虽然对DataFrame做了repartition(24)，但这只是在Spark内部将数据拆分为24份，并没有告知JDBC Writer要启动并行写入流程——未指定numPartitions参数时，Spark只会启动一个写入任务，自然只会用到一个Executor。

解决方案 #

在JDBC写入的配置中添加numPartitions参数，指定并行写入的数据库连接数，数值建议与DataFrame的分区数保持一致（此处为24）：

df.write \
        .format("jdbc") \
        .option("url", "jdbc:mysql://hostname:port/" + destination) \
        .option("dbtable", destination + '.'+target) \
        .option("user", user) \
        .option("password", password) \
        .option("driver", "com.mysql.jdbc.Driver") \
        .option("numPartitions", 24)  # 关键参数：指定并行写入的连接数
        .mode("append") \
        .save() 

额外优化（可选） #

如果MySQL表存在合适的分区键（比如自增ID、时间字段），可以配合以下参数进一步优化并行写入效率：

• partitionColumn：用于数据分片的数据库字段
• lowerBound：分区字段的最小值
• upperBound：分区字段的最大值

示例：

df.write \
        .format("jdbc") \
        ...
        .option("numPartitions", 24)
        .option("partitionColumn", "id")
        .option("lowerBound", "1")
        .option("upperBound", "1000000")
        ...
        .save()

配置后Spark会根据分区字段的范围，将数据均匀分配到各个并行任务中，避免单分区数据量过大的问题。

验证效果 #

添加numPartitions参数后重新执行写入操作，Spark会将24个写入任务分配到多个Executor上并行处理，你可以在Executor页面看到多个节点同时执行Stage0的任务。

内容的提问来源于stack exchange，提问作者Anirudh Deshpande