Pandas转PySpark空值过滤结果不一致，如何保证结果一致？

先纠正你代码中的明显错误 #

你写的「pyspark directly」部分实际是把PySpark DataFrame转成了Pandas DataFrame（df1 = df.toPandas()），后续操作本质还是Pandas逻辑，并非真正的PySpark操作。同时代码存在语法错误：Pandas中没有isNull()方法，且括号不匹配。

核心问题：空值判定逻辑差异 #

PySpark的isNull()/isNotNull()仅识别SQL标准的NULL值，但Pandas的isna()/notna()会把更多类型判定为空，比如空字符串""、numpy.nan、None甚至特殊数值（如inf）。你遇到的「PySpark遗漏行」问题，大概率是因为数据中存在空字符串，PySpark默认不将其视为NULL，但Pandas会。

实现与Pandas一致的空值筛选 #

方法1：在原生PySpark中对齐空值判定逻辑 #

将空字符串统一转换为NULL后再筛选，确保和Pandas的空值识别范围一致：

from pyspark.sql import functions as F

# 先把空字符串转为NULL，再执行筛选
filtered_df = df.filter(
    (F.col("ColA").isNull() | (F.col("ColA") == "")) & 
    (F.col("ColB").isNotNull() & (F.col("ColB") != ""))
)
pysresult = filtered_df.count()

方法2：使用Pandas API on Spark时修正语法 #

你之前的代码误用了原PySpark DataFrame的列，正确写法应完全基于Pandas API on Spark的对象，其isna()/notna()行为和Pandas一致：

df_pandas_on_spark = df.to_pandas_on_spark()
# 完全沿用Pandas的筛选语法
pysresult2 = df_pandas_on_spark[(df_pandas_on_spark.ColA.isna()) & (df_pandas_on_spark.ColB.notna())].shape[0]

解决重复执行count结果变化的问题 #

重复执行count结果波动，通常是因为DataFrame包含非确定性操作（如rand()、current_timestamp()），或数据源本身在动态更新，也可能是分区数据不一致导致。解决方式：

• 检查上游转换逻辑，替换掉非确定性操作；
• 若读取动态更新的数据源，确保读取时获取快照；
• 对筛选后的DataFrame进行缓存，固定结果：

  filtered_df.cache()
  # 后续重复执行count结果将保持一致
  filtered_df.count()
  

验证结果一致性 #

可抽取样本数据对比空值类型，定位差异根源：

# 查看PySpark中ColA判定为空的样本
df.select("ColA", "ColB").filter(F.col("ColA").isNull()).limit(10).show()

# 查看Pandas中ColA判定为空的样本
df.toPandas().loc[df.toPandas().ColA.isna(), ["ColA", "ColB"]].head(10)

内容的提问来源于stack exchange，提问作者euh