如何使用Java Scanner类读取HDFS文件？现有代码执行失败求助

嘿，这个问题我太熟啦！你直接用File类传入HDFS路径肯定行不通，原因很简单：Java标准库的File类只能识别本地文件系统的路径，完全不认识HDFS的URI格式，所以Scanner拿着这个File对象自然找不到HDFS里的文件。

要想用Scanner读取HDFS文件，得借助Hadoop提供的FileSystem API来获取文件输入流，再把这个流交给Scanner处理。下面是具体的实现步骤和代码示例：

正确的实现方式 #

1. 首先获取Hadoop的FileSystem实例，它能帮我们和HDFS交互
2. 通过FileSystem.open()方法打开HDFS文件，得到HDFS的输入流
3. 把这个输入流包装成InputStreamReader（处理字符编码），再传给Scanner

代码示例（适合在Mapper调用的类中使用） #

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.InputStreamReader;
import java.util.Scanner;

public class HdfsScannerReader {
    public void readHdfsFile(String hdfsPath) throws Exception {
        // 获取Hadoop配置，如果你是在Mapper里调用，也可以从Context获取Configuration
        Configuration conf = new Configuration();
        // 获取FileSystem实例，它会自动识别HDFS的配置
        FileSystem fs = FileSystem.get(conf);
        // 用Hadoop的Path类封装HDFS路径
        Path path = new Path(hdfsPath);
        
        // 使用try-with-resources自动关闭资源，避免内存泄漏
        try (InputStreamReader reader = new InputStreamReader(fs.open(path));
             Scanner scanner = new Scanner(reader)) {
            
            // 开始读取文件内容
            while (scanner.hasNextLine()) {
                String line = scanner.nextLine();
                // 处理每一行内容
                System.out.println(line);
            }
        } finally {
            // 关闭FileSystem资源
            if (fs != null) {
                fs.close();
            }
        }
    }
}

在Mapper中调用的注意点 #

如果你是在Mapper里调用这个方法，建议从Context对象获取Configuration，而不是直接new，这样能复用Hadoop任务的配置（比如HDFS的地址、端口等）：

// 在Mapper的map方法中
@Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    Configuration conf = context.getConfiguration();
    HdfsScannerReader reader = new HdfsScannerReader();
    try {
        reader.readHdfsFile("hdfs://localhost:9000/InputDataSet/IN/helper.txt");
    } catch (Exception e) {
        e.printStackTrace();
    }
    // 其他Mapper逻辑...
}

额外提醒 #

• 确保你的项目中已经引入了Hadoop的hadoop-common和hadoop-hdfs依赖，否则会找不到FileSystem、Path这些类
• 处理HDFS文件时一定要注意资源的关闭，用try-with-resources是最安全的方式
• 如果你的HDFS集群不是本地模式，记得在配置中正确设置NameNode的地址，或者让Hadoop自动读取集群的配置

内容的提问来源于stack exchange，提问作者Vidya