如何用Java本地读取Spark通过saveAsObjectFile生成的Sequence File

看起来你已经有了一个不错的开头，但Spark通过saveAsObjectFile生成的SequenceFile有特定的格式，我来帮你完善代码并解释其中的关键点：

首先，先明确一个核心细节：Spark的saveAsObjectFile会把RDD中的每个元素通过Java序列化转成字节数组，然后封装为BytesWritable作为文件的值，而键则固定是NullWritable。所以你之前用BytesWritable是对的，但需要搭配正确的键类型，还要处理字节数组的反序列化。

完整可运行代码 #

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.SequenceFile;
import java.io.ByteArrayInputStream;
import java.io.ObjectInputStream;

public class SparkSequenceFileReader {
    public static void main(String[] args) {
        Configuration conf = new Configuration();
        // 关键：指定使用本地文件系统，避免默认连接HDFS
        conf.set("fs.defaultFS", "file:///");

        FileSystem fileSystem = null;
        SequenceFile.Reader reader = null;

        try {
            fileSystem = FileSystem.get(conf);
            Path targetPath = new Path("D:\\spark_sequence_file");

            // 初始化SequenceFile读取器
            reader = new SequenceFile.Reader(conf, SequenceFile.Reader.file(targetPath));

            // 匹配Spark生成的文件格式：键为NullWritable，值为BytesWritable
            NullWritable key = NullWritable.get();
            BytesWritable value = new BytesWritable();

            // 循环读取所有条目
            while (reader.next(key, value)) {
                // 将字节数组反序列化为Integer
                try (ByteArrayInputStream byteIn = new ByteArrayInputStream(value.getBytes());
                     ObjectInputStream objIn = new ObjectInputStream(byteIn)) {
                    
                    Integer readNum = (Integer) objIn.readObject();
                    System.out.println("读取到整数：" + readNum);
                }
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            // 确保资源关闭
            try {
                if (reader != null) reader.close();
                if (fileSystem != null) fileSystem.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }
}

重要注意事项 #

• 依赖版本匹配：你的项目需要引入和Spark依赖一致的Hadoop Client包，比如Maven依赖：

  <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>你的Spark对应Hadoop版本，比如3.3.4</version>
  </dependency>
  

• 本地文件系统配置：必须设置fs.defaultFS为file:///，否则Hadoop会默认尝试连接远程HDFS，本地环境下会抛出连接异常。
• 序列化兼容性：如果后续读取自定义对象而非Integer，要确保读取环境中存在该类的定义，否则会抛出ClassNotFoundException。

内容的提问来源于stack exchange，提问作者Lianshuai