PySpark过滤Parquet文件Null值触发ArrayIndexOutOfBoundsException问题排查

核心结论 #

PySpark完全支持Null值过滤操作，这个报错并非功能缺陷，问题根源在于你读取的Parquet文件存在元数据或数据格式损坏。

具体成因解析 #

• 报错信息ArrayIndexOutOfBoundsException: Index 3 out of bounds for length 3明确显示：Spark解析文件时，尝试访问第4个数据索引（数组索引从0开始），但当前行只有3列数据（对应你的DataFrame列：nonulls、onlynulls、mixed）。这说明Parquet文件的某部分行组（row group）元数据记录的列数，和实际存储的列数据数量不匹配。
• 执行show()时，Spark仅读取文件元数据或部分样本数据，未触发全量数据解析，因此能正常展示结果；但过滤操作需要扫描并逐行解析全量数据，此时损坏的行数据就会触发索引越界错误。
• 仅过滤空DataFrame时不报错，是因为这种场景下Spark无需实际扫描解析数据，直接返回空结果，跳过了数据读取环节。

解决建议 #

• 校验文件完整性：使用Parquet专用工具（如parquet-tools）检查文件的元数据和数据结构，确认列定义与实际存储数据的一致性。
• 重新生成文件：如果确认文件损坏，从原始数据源重新导出正确格式的Parquet文件。
• 临时规避方案：可以尝试设置Spark参数spark.sql.parquet.enableVectorizedReader=false禁用向量化读取，绕过损坏行组的解析逻辑，但这只是临时手段，修复文件才是根本解决办法。

内容的提问来源于stack exchange，提问作者Arik