空DataFrame执行Sum聚合返回null，如何让结果集行数为0？

问题原因 #

Spark的全局聚合操作（如sum）在没有输入行时，默认会生成一行包含聚合函数默认值的结果——sum的默认值为null，这就是你看到返回1行null的原因，和count列的数据类型无关。

解决方案 #

方案1：提前判断过滤后的数据是否为空 #

先检查过滤后的DataFrame是否有数据，再决定是否执行聚合，直接返回空DF即可：

from pyspark.sql import functions as F
from pyspark.sql.functions import col

filtered_df = df.filter(col("id") == id)
# 用isEmpty()判断，不会触发全量数据扫描，性能更优（Spark 2.0+支持）
if filtered_df.isEmpty():
    result_df = filtered_df
else:
    result_df = filtered_df.agg(F.sum(col("count")).alias("count"))

方案2：聚合后过滤掉null行 #

如果业务场景中不存在「有数据但所有count值都是null」的情况，可以在聚合后直接过滤掉count为null的行：

result_df = df.filter(col("id") == id).agg(
    F.sum(col("count")).alias("count")
).filter(col("count").isNotNull())

方案3：聚合阶段结合行数判断 #

在聚合时先统计输入行数，仅当有数据时才计算sum，最后过滤掉null结果：

result_df = df.filter(col("id") == id).agg(
    F.when(F.count("*") > 0, F.sum(col("count"))).alias("count")
).filter(col("count").isNotNull())

这个方法无需提前触发Action，在聚合逻辑内完成判断，性能更优。

内容的提问来源于stack exchange，提问作者Indu Garg