开发HDFS文件合并应用：文件指定、合并方法及代码续写咨询

1. 如何指定两个不同的文件 #

最灵活的方式是通过命令行参数传递文件路径：

• 运行程序时传入三个参数：第一个输入文件的HDFS路径 第二个输入文件的HDFS路径 合并后输出文件的HDFS路径
• 示例运行命令：hadoop jar your-jar.jar Task1 /input/file1.txt /input/file2.txt /output/merged.txt
• 若仅用于测试，也可在代码中硬编码路径，但这种方式复用性极差，不推荐用于生产场景。

2. 文件合并的实现思路 #

核心是通过HDFS的文件流操作完成内容复制：

• 获取HDFS的FileSystem实例，作为操作HDFS文件系统的入口
• 依次打开两个输入文件的FSDataInputStream，读取文件内容
• 创建输出文件的FSDataOutputStream，将两个输入文件的内容依次写入输出流
• 借助Hadoop提供的IOUtils工具类高效处理流的复制，自动管理缓冲区和资源回收

3. 补全Java代码及后续说明 #

补全后的完整代码 #

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.io.IOUtils;

public class Task1 {
    public static void main(String[] args) throws Exception {
        // 从命令行参数获取输入、输出文件路径
        String inputPath1 = args[0];
        String inputPath2 = args[1];
        String outputPath = args[2];

        Configuration conf = new Configuration();
        // 获取HDFS文件系统实例，自动读取Hadoop配置中的HDFS地址
        FileSystem fs = FileSystem.get(URI.create(outputPath), conf);

        // 打开两个输入文件的流
        FSDataInputStream in1 = fs.open(new Path(inputPath1));
        FSDataInputStream in2 = fs.open(new Path(inputPath2));
        // 创建输出文件流（默认覆盖已存在文件）
        FSDataOutputStream out = fs.create(new Path(outputPath));

        // 依次复制两个文件内容到输出流
        IOUtils.copyBytes(in1, out, conf, false);
        IOUtils.copyBytes(in2, out, conf, false);

        // 关闭所有流资源
        IOUtils.closeStream(in1);
        IOUtils.closeStream(in2);
        IOUtils.closeStream(out);
    }
}

合并后文件的生成位置 #

合并后的文件会生成在你通过命令行参数传入的第三个路径（示例中的/output/merged.txt），该路径是HDFS上的路径，可通过hdfs dfs -ls /output命令查看文件状态。

后续代码编写建议 #

• 简化资源管理：使用try-with-resources块自动关闭流，无需手动调用close：

  try (FSDataInputStream in1 = fs.open(new Path(inputPath1));
       FSDataInputStream in2 = fs.open(new Path(inputPath2));
       FSDataOutputStream out = fs.create(new Path(outputPath))) {
      IOUtils.copyBytes(in1, out, conf, false);
      IOUtils.copyBytes(in2, out, conf, false);
  }
  

• 避免文件覆盖：添加文件存在判断，防止误删已有文件：

  Path outputFilePath = new Path(outputPath);
  if (fs.exists(outputFilePath)) {
      System.out.println("输出文件已存在，请更换路径");
      return;
  }
  FSDataOutputStream out = fs.create(outputFilePath);
  

• 增加调试日志：引入SLF4J日志框架，添加关键步骤的日志输出，方便排查问题。

内容的提问来源于stack exchange，提问作者Ariel