Spark SQL Filter结果异常：查询ORC文件返回随机不一致结果

针对你遇到的Spark SQL查询ORC分区数据时结果随机缺失、无法返回全部匹配数据的问题，可从以下几个方向排查解决：

1. 确保分区被完整加载 #

你的数据被划分为50个分区，但Spark自动分区发现可能未识别全部分区。可通过配置强制递归扫描所有子路径下的文件：

val df = spark.read.option("recursiveFileLookup", "true").orc("/src/resources/products/")

该配置会让Spark遍历目标路径下所有层级的文件，避免遗漏分区数据。

2. 排查ORC统计信息导致的谓词下推错误 #

ORC文件会存储分区级别的字段统计信息（如min/max值），如果统计信息损坏或不准确，Spark的谓词下推逻辑会错误判断某些分区无匹配数据，从而跳过扫描。可先禁用谓词下推验证：

val df = spark.read.option("orc.filterPushdown", "false").orc("/src/resources/products/")

若禁用后结果正常，说明是ORC统计信息问题，需重新生成数据以修复统计信息：

// 读取原始数据后重新写入，生成正确的ORC统计信息
spark.read.orc("/src/resources/products/")
  .write
  .mode("overwrite")
  .option("orc.create.index", "true")
  .orc("/src/resources/products_fixed/")

3. 检查文件损坏或存储系统异常 #

部分ORC文件损坏、或分布式存储（如HDFS）中文件副本不一致，会导致每次读取时可访问的文件随机变化。可通过以下方式排查：

• 执行文件系统健康检查（以HDFS为例）：

hdfs fsck /src/resources/products/

• 禁用Spark的ORC向量化读取（部分版本的向量化读取存在兼容性bug）：

val df = spark.read.option("orc.enableVectorizedReader", "false").orc("/src/resources/products/")

4. 验证原始数据完整性 #

先不添加过滤条件，读取全量数据并统计目标数据的数量，确认原始数据中确实存在4条ProductName='A1'的记录：

spark.read.orc("/src/resources/products/")
  .filter("ProductName = 'A1'")
  .count()

如果全量读取的统计结果也随机变化，说明存储层的数据本身存在问题，需要重新导入或修复数据。

内容的提问来源于stack exchange，提问作者Sistla Swathi