Spark通过newAPIHadoopFile读SequenceFile偶发ArrayIndexOutOfBoundsException异常

该异常是SequenceFile读取逻辑的已知问题，触发的核心原因如下：

• 分片切分错位：SequenceFile采用块压缩存储，每个数据块头部有固定的sync同步标记。InputSplit切分文件时如果切到了数据块中间，RecordReader初始化时会从分片起始位置向后查找最近的sync标记，若分片落在文件末尾无效区域、或文件存在损坏，查找逻辑指针回退超过读取缓冲区边界，就会抛出负索引的数组越界异常。
• 非法类型强转：newAPIHadoopFile返回的JavaPairRDD已经封装了完整的SequenceFile读取逻辑，你手动将其强转为JavaNewHadoopRDD并调用mapPartitionWithInputSplit的操作，会重复触发RecordReader的初始化逻辑，导致同一个分片被多次读取、文件指针位置错乱，进一步提升了异常出现的概率。
• 文件不完整：若读取的SequenceFile还处于写入状态未完全落盘，或存在0字节的空SequenceFile，也会因缺少合法的sync标记触发该异常。

• 取消非法强转操作：不要将JavaPairRDD强转为JavaNewHadoopRDD调用底层API，若需要获取分片信息，可通过TaskContext.get().getInputSplit()直接获取，或使用mapPartitionsWithIndex实现业务逻辑，避免直接操作Spark内部RDD的读取逻辑。
• 优化分片配置：调整Hadoop配置避免分片切分到块末尾，或设置为不可切分，每个文件对应一个分片，从根源避免sync标记查找的问题，示例配置如下：

Configuration hadoopConf = new Configuration();
// 禁止切分文件，每个文件作为一个分片
hadoopConf.set("mapreduce.input.fileinputformat.split.maxsize", Long.toString(Long.MAX_VALUE));
JavaPairRDD rdd = sc.newAPIHadoopFile(filePath, SequenceFileInputFormat.class, KeyClass.class, ValueClass.class, hadoopConf);

• 前置校验文件合法性：读取前通过HDFS API过滤路径下0字节的空文件，避免读取损坏的SequenceFile。
• 兼容写入中文件的场景：如果业务需要读取还在写入的SequenceFile，可添加配置hadoopConf.set("io.seqfile.skip.incomplete.blocks", "true")，读取时自动跳过不完整的块，不会抛出异常。
• 版本升级：如果使用的Hadoop版本低于2.7.x，该异常是Hadoop SequenceFileReader的已知bug，升级Hadoop客户端版本到2.8及以上即可修复该问题。

内容的提问来源于stack exchange，提问作者huff