如何在PySpark中按ID区分description全空、全非空及混合情况？

问题原因说明 #

你之前统计的「有null的ID数」+「有非null的ID数」≠总ID数，是因为存在同时包含null和非null的ID——这类ID会被同时计入两个统计结果，导致重复计算，所以总和偏大。

解决方案步骤 #

要实现分类和拆分，核心是先对每个ID的空值情况做整体判断，再关联回原数据集进行拆分。

1. 计算每个ID的空值状态 #

先分组统计每个ID下的空值、非空值数量，再标记该ID的类型：

from pyspark.sql import functions as F

# 分组计算每个ID的空值和非空值行数
id_null_status = df.groupBy("ID") \
    .agg(
        F.sum(F.when(F.col("description").isNull(), 1).otherwise(0)).alias("null_count"),
        F.sum(F.when(F.col("description").isNotNull(), 1).otherwise(0)).alias("non_null_count")
    ) \
    # 标记ID的空值类型
    .withColumn("status", 
        F.when(F.col("non_null_count") == 0, "all_null")
        .when(F.col("null_count") == 0, "all_non_null")
        .otherwise("mixed")
    )

2. 关联原数据集并拆分 #

将上面得到的ID状态表与原表关联，之后就能按状态拆分：

# 关联原数据集，给每行加上对应ID的状态标记
df_with_status = df.join(id_null_status, on="ID", how="left")

# 拆分出全为null的ID对应的所有行
all_null_df = df_with_status.filter(F.col("status") == "all_null")

# 剩余数据集（全非null + 混合）
remaining_df = df_with_status.filter(F.col("status") != "all_null")

3. 验证结果（可选） #

可以统计各类型的ID数，验证是否符合预期：

# 统计各状态的ID数量
id_null_status.groupBy("status").count().show()

# 验证总ID数是否等于各状态ID数之和
total_ids = df.select("ID").distinct().count()
status_counts = id_null_status.groupBy("status").count().agg(F.sum("count")).collect()[0][0]
print(f"总ID数：{total_ids}，各状态ID数之和：{status_counts}")

关键逻辑解释 #

• 分组统计时，通过sum(when(...))分别计算每个ID下空值和非空值的行数，能精准判断该ID的整体空值情况。
• 关联后拆分，能保证每个ID的所有行都被分到对应的数据集里，不会遗漏或重复。

内容的提问来源于stack exchange，提问作者the_mailman