如何用Java执行HDFS cat命令并读取输出？现有实现是否合理？

当前实现是否足够？ #

完全不够。你现在的代码只是启动了hdfs dfs -cat命令并等待它执行结束，但存在两个致命问题：

• 没有读取命令的标准输出流，根本拿不到CSV文件的内容；
• 没有处理标准错误流，如果命令执行出错（比如文件不存在、权限不够），错误信息会塞满缓冲区，导致进程卡死，无法正常结束。

两种可行的完整方案 #

方案1：修复外部命令执行逻辑，处理输入输出流 #

要单独开线程读取标准输出和错误流，避免缓冲区阻塞，同时获取你需要的CSV内容：

import java.io.BufferedReader;
import java.io.InputStreamReader;

public class HdfsCatExecutor {
    public static void main(String[] args) {
        String cmd = "hdfs dfs -cat /user/username/data/20220815/EDHSB.CSV";
        try {
            Process proc = Runtime.getRuntime().exec(cmd);
            
            // 异步读取标准输出（CSV内容）
            new Thread(() -> {
                try (BufferedReader outReader = new BufferedReader(new InputStreamReader(proc.getInputStream()))) {
                    String line;
                    while ((line = outReader.readLine()) != null) {
                        // 这里可以把每一行内容存起来或处理
                        System.out.println(line);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }).start();
            
            // 异步读取错误输出（排查问题用）
            new Thread(() -> {
                try (BufferedReader errReader = new BufferedReader(new InputStreamReader(proc.getErrorStream()))) {
                    String line;
                    while ((line = errReader.readLine()) != null) {
                        System.err.println("执行出错：" + line);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }).start();
            
            // 等待命令执行完成，获取退出码
            int exitCode = proc.waitFor();
            System.out.println("命令执行完毕，退出码：" + exitCode);
            
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方案2：使用HDFS Java API（更优的生产级方案） #

直接调用HDFS官方的Java API读取文件，比执行外部命令靠谱得多——不需要依赖系统里的hdfs命令，没有进程创建的额外开销，还能直接控制文件读写的细节，适合生产环境使用。

首先要在项目里引入Hadoop的依赖（以Maven为例）：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>替换成你的Hadoop版本，比如3.3.4</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>替换成你的Hadoop版本，比如3.3.4</version>
</dependency>

然后编写读取代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.BufferedReader;
import java.io.InputStreamReader;

public class HdfsFileReader {
    public static void main(String[] args) {
        Configuration conf = new Configuration();
        // 配置你的HDFS namenode地址，比如hdfs://xxx.xxx.xxx.xxx:9000
        conf.set("fs.defaultFS", "hdfs://your-namenode-ip:9000");
        
        String hdfsFilePath = "/user/username/data/20220815/EDHSB.CSV";
        
        try (FileSystem hdfsFs = FileSystem.get(conf);
             BufferedReader reader = new BufferedReader(new InputStreamReader(hdfsFs.open(new Path(hdfsFilePath))))) {
            
            String line;
            while ((line = reader.readLine()) != null) {
                // 处理CSV的每一行内容，比如存入数据库或解析成对象
                System.out.println(line);
            }
            
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

方案对比 #

• 外部命令方式：适合快速测试，写法简单，但依赖系统环境，容易因为权限、路径特殊字符等问题出故障，进程管理也麻烦；
• HDFS API方式：稳定性高，功能丰富，能直接操作HDFS的各种资源，是生产环境的首选，但需要引入Hadoop依赖并配置连接信息。

内容的提问来源于stack exchange，提问作者Raghu K