Mule使用HDFS连接器复制含子目录的HDFS目录失败求助

我之前也踩过这个坑！你遇到的问题本质是大部分基础HDFS连接器默认只支持单个文件的复制操作，没法直接递归处理包含子文件夹的目录。这里给你几个实用的解决方案：

方案1：先打包目录为单个压缩文件，复制后解压 #

这是最快捷的临时解决办法，把整个目录打包成一个文件后，连接器就能正常处理了：

• 在HDFS中打包目录：

  hadoop fs -tar -cvf hdfs:///tmp/output_backup.tar.gz /tmp/xxx_files/xxx/Output/
  

• 用连接器复制这个output_backup.tar.gz文件到目标位置
• 在目标HDFS路径解压还原目录：

  hadoop fs -tar -xvf hdfs:///target/path/output_backup.tar.gz /target/path/restored_output/
  

方案2：编写递归脚本/代码遍历目录，逐个复制文件 #

如果需要自动化或者不想打包，可以通过HDFS API遍历目录下所有文件，逐个复制：

命令行脚本方式（适合快速验证） #

先递归列出所有文件路径，再循环复制：

# 列出目录下所有非目录文件的路径
hadoop fs -ls -R /tmp/xxx_files/xxx/Output/ | grep -v "^d" | awk '{print $8}' > file_list.txt

# 循环逐个复制（如需保留原目录结构，需额外处理路径映射）
while read file_path; do
  target_path="/target/path/$(basename $file_path)"
  hadoop fs -cp $file_path $target_path
done < file_list.txt

代码方式（适合集成到业务逻辑） #

以Java为例，用HDFS FileSystem API递归遍历并复制：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.Path;

public class HdfsDirCopy {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        
        Path sourceDir = new Path("/tmp/xxx_files/xxx/Output/");
        Path targetRoot = new Path("/target/path/");
        
        // 递归复制目录及子内容
        copyDirectory(fs, sourceDir, targetRoot);
    }
    
    private static void copyDirectory(FileSystem fs, Path source, Path target) throws Exception {
        FileStatus[] statuses = fs.listStatus(source);
        
        for (FileStatus status : statuses) {
            Path srcPath = status.getPath();
            Path destPath = new Path(target, srcPath.getName());
            
            if (status.isDirectory()) {
                // 先创建目标子目录，再递归处理内部内容
                fs.mkdirs(destPath);
                copyDirectory(fs, srcPath, destPath);
            } else {
                // 复制单个文件
                fs.copyFromLocalFile(srcPath, destPath);
                // 若需从HDFS复制到本地，替换为：fs.copyToLocalFile(srcPath, destPath);
            }
        }
    }
}

方案3：检查连接器是否支持递归参数或更新版本 #

有些第三方HDFS连接器（比如Apache Camel的HDFS组件、部分ETL工具的HDFS插件）在新版本中添加了递归复制的支持，你可以：

• 查看你使用的连接器官方文档，搜索是否有类似recursive=true、copyRecursive这类配置参数
• 如果当前版本不支持，尝试升级到最新稳定版，看是否修复了这个限制

内容的提问来源于stack exchange，提问作者Balwant Kumar Singh