为何getNumPartitions()与spark_partition_id()返回结果不一致？

这是因为**getNumPartitions()返回的是RDD的总分区数（包含空分区），而spark_partition_id()仅会标记实际存储数据的分区**，具体原因分两点：

• 初始分区数由配置决定：你通过spark.createDataFrame从本地Python列表创建DataFrame时，Spark会依据集群的spark.default.parallelism配置确定初始分区数。在Databricks社区版1执行器2核的环境下，该配置值被设为8，因此df.rdd.getNumPartitions()返回8——这是RDD的总分区数量，其中大部分分区是空的。

• 空分区不会被统计：你的DataFrame仅包含3行数据，Spark会将这3行分配到3个不同的分区中（数据量过小，无需占用更多分区），剩余5个分区没有数据。当你按partition_id分组统计时，空分区因无数据不会出现在结果里，所以最终只显示3个各含1行数据的分区。

验证方法 #

你可以通过以下代码查看每个分区的实际内容，确认空分区的存在：

# 查看每个分区的具体数据
partition_details = df.rdd.glom().collect()
for partition_idx, data_rows in enumerate(partition_details):
    print(f"分区 {partition_idx} 的数据: {data_rows}")

运行后会输出类似结果：

分区 0 的数据: [(1, 'Alice', 25)]
分区 1 的数据: [(2, 'Bob', 40)]
分区 2 的数据: [(3, 'Charlie', 65)]
分区 3 的数据: []
分区 4 的数据: []
分区 5 的数据: []
分区 6 的数据: []
分区 7 的数据: []

内容的提问来源于stack exchange，提问作者qudsif