使用PySpark读取SQL Server时仅单任务触发的问题排查

问题说明 #

已配置PySpark读取SQL Server的并行分区参数：

.option("lowerBound", '<value>') \
.option("upperBound", '<value>') \
.option("partitionColumn", "<column name>") \
.option("numPartitions", <value>) \
.option("fetchsize", <value>).load()

已生成指定数量的分区，但仅单个任务执行读取，未实现并行拉取，且确认基于上下界的分区谓词已生成。集群配置：2-3个Worker节点（32-48GB内存、8-12核），1个Driver节点（16GB内存、4核），Runtime版本10.4.x-scala2.12。注：日期和时间戳列支持作为分区列。

排查方向 #

• 分区列数据分布失衡：如果分区列的实际数据全部集中在某一个分区区间内，会导致仅该分区的任务被触发。比如lowerBound=1、upperBound=1000、numPartitions=5，但所有数据的分区列值都落在1-200区间，就只会执行第一个分区的任务。
• 分区列类型不匹配：确保partitionColumn在SQL Server中的类型与Spark解析的类型完全一致，比如SQL Server的datetime类型需被Spark正确识别为TimestampType，类型不匹配会导致谓词过滤失效，所有数据流入单个分区。
• JDBC驱动版本过低：老旧的SQL Server JDBC驱动可能不支持并行读取特性，建议使用12.4及以上版本的Microsoft JDBC Driver for SQL Server。
• fetchsize设置不合理：fetchsize过大可能导致单个任务拉取过多数据，掩盖并行效果；过小则会增加IO开销，建议在1000-10000区间内调整测试。
• 集群资源调度限制：检查Worker节点的核数是否足够分配多个并行任务，或是否有其他任务占用了集群资源。可通过Spark UI的Jobs页面查看任务调度状态，确认是否有任务处于等待队列。
• 分区谓词有效性验证：手动执行Spark生成的各分区查询语句（如WHERE partition_col BETWEEN x AND y），在SQL Server中确认是否返回数据，若某分区查询无结果，自然不会触发对应任务。
• 分区数设置不合理：numPartitions超过集群可用总核数的1.5-2倍，或远大于数据实际所需分区数，可能引发调度异常。

验证步骤 #

1. 查看Spark UI的Storage页面，确认各分区的数据量分布，若多数分区数据量为0，说明数据分布不均。
2. 通过df.rdd.toDebugString打印各分区的过滤条件，将这些语句在SQL Server中执行，验证是否有数据返回。
3. 执行df.printSchema()，确认分区列的类型与SQL Server中的定义一致。
4. 更换JDBC驱动版本，在Spark启动时指定驱动包：--jars mssql-jdbc-12.4.2.jre8.jar。

内容的提问来源于stack exchange，提问作者Gourab Datta