PySpark DataFrame统计空行与打印结果不符问题咨询

以下是导致统计空值数为400但查询前10条空记录返回空列表的常见原因及解决方法：

• 惰性执行导致的执行计划差异
  PySpark采用惰性执行机制，两次独立调用df.filter(df.sale_date.isNull())会生成不同的执行计划，若中间数据源发生变化（比如其他操作修改了原DataFrame、数据源本身动态更新），会导致两次计算结果不一致。

  解决方法：将过滤后的DataFrame缓存，复用同一个数据集进行统计和查询：

  df_null_sale_date = df.filter(df.sale_date.isNull()).cache()
  df_sale_date_null_count = df_null_sale_date.count()
  
  if df_sale_date_null_count > 0:
      logger.info(f"Sale date is null for {df_sale_date_null_count} records. Here are the first 10:")
      logger.info(f"First 10: {str(df_null_sale_date.limit(10).collect())}")
  

• 分区数据分布不均
  当DataFrame分区数量较多时，count()会遍历所有分区统计总数，但limit(10).collect()仅会扫描前几个分区。若所有空值记录都集中在后续分区，就会出现统计有值但取前10条为空的情况。

  解决方法：对过滤后的数据集进行随机排序，强制扫描全部分区获取样本：

  from pyspark.sql.functions import rand
  
  df_null_sale_date = df.filter(df.sale_date.isNull())
  df_sale_date_null_count = df_null_sale_date.count()
  
  if df_sale_date_null_count > 0:
      logger.info(f"Sale date is null for {df_sale_date_null_count} records. Here are the first 10:")
      logger.info(f"First 10: {str(df_null_sale_date.orderBy(rand()).limit(10).collect())}")
  

• 原DataFrame在两次操作间被修改
  若在count()和collect()执行期间，原DataFramedf被其他代码逻辑修改（如过滤行、更新字段值），第二次查询的是修改后的数据集，自然无法找到空值记录。

  解决方法：确保两次操作基于同一个过滤后的DataFrame实例，避免原DataFrame被意外修改。

内容的提问来源于stack exchange，提问作者Alex5207