过滤后无法获取PySpark DataFrame的count()值问题咨询

核心原因：Spark执行机制的差异 #

虽然两个DataFrame数据源相同，但Spark的惰性执行和元数据复用导致了不同的行为：

• df.count() 很多情况下会直接读取数据源的元数据统计（比如Parquet/ORC这类列式存储文件自带的行数统计，或者分区表的分区元数据），不需要实际扫描全量文件内容，因此即使数据源存在损坏文件或权限问题，也不会触发报错。
• filtered_df.count() 因为包含contains过滤操作，必须实际读取文件的行数据来判断是否符合条件，这时候才会接触到有问题的文件，进而触发FileReadException。

具体可能的触发场景 #

• 文件损坏：数据源中存在部分损坏的文件，df.count()靠元数据绕过了读取这些文件，而过滤操作必须读取内容，因此报错。
• 权限问题：部分文件的访问权限不足，df.count()仅读取元数据无需访问文件内容，过滤操作需要读取内容时触发权限错误。
• 分区表特性：如果是分区表，df.count()可能只扫描分区元数据统计总行数，而过滤条件涉及非分区列，需要扫描具体分区的文件，此时才会发现某个分区的文件异常。

解决方法 #

• 定位异常文件：根据报错中的文件路径，直接检查该文件是否存在、是否损坏、权限是否正常。
• 跳过坏记录/文件：读取数据源时添加参数捕获错误，比如Parquet格式可以用：

  df = spark.read.format("parquet") \
      .option("badRecordsPath", "/tmp/bad_records") \
      .load(path)
  

  这样会将无法解析的记录写入指定路径，不影响任务执行。
• 修复数据源：删除或替换损坏的文件，确保所有文件都能正常读取。
• 更新元数据：如果是依赖过时的元数据导致df.count()结果不准确，执行以下SQL更新统计信息：

  ANALYZE TABLE table_name COMPUTE STATISTICS FOR ALL COLUMNS
  

内容的提问来源于stack exchange，提问作者Machetes0602