Spark DataFrameReader.jdbc仅指定numPartitions为何始终生成1个分区？

这其实是Spark JDBC API的设计预期行为，并非你使用时出现了错误。

原因解释 #

Spark要将JDBC查询拆分为多个并行分区，必须依赖三个核心参数的配合：

• partitionColumn：用于拆分数据的列（需要是可排序的数值/日期类型）
• lowerBound：该列的最小值范围
• upperBound：该列的最大值范围

只有同时提供这三个参数，Spark才能计算出每个分区应该查询的数据范围，进而生成numPartitions指定数量的并行查询任务。如果仅单独设置numPartitions，Spark没有足够的依据去拆分数据，只能退化为单分区执行查询，此时numPartitions参数并不会生效。

正确的使用示例 #

如果你想实现多分区并行读取JDBC数据，需要同时配置这四个参数，比如：

val df = spark.read
  .format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/your_db")
  .option("dbtable", "your_table")
  .option("user", "db_user")
  .option("password", "db_pwd")
  .option("numPartitions", "4") // 指定并行分区数
  .option("partitionColumn", "id") // 用于拆分的列（需可排序）
  .option("lowerBound", "1") // 列的最小值
  .option("upperBound", "10000") // 列的最大值
  .load()

额外说明 #

• partitionColumn必须是表中存在的、具有连续值域的列（比如自增ID、时间戳），这样Spark才能将数据均匀分配到各个分区。
• 如果你的表没有合适的拆分列，也可以考虑通过手动拆分SQL（比如按范围编写多个子查询）并合并结果的方式实现并行读取，或者调整fetchSize参数优化单分区的读取性能，但这两种方式的并行度不如官方推荐的分区参数配置。

内容的提问来源于stack exchange，提问作者sammyne