如何直接将Hadoop HDFS文件夹导出至远程服务器？

关于hadoop distcp的疑问 #

hadoop distcp 并非仅支持HDFS集群间的复制，它可以和任何兼容Hadoop FileSystem API的存储系统交互（比如S3、Azure Blob Storage等），但无法直接将数据导出到远程普通POSIX文件系统——因为远程本地文件系统不属于分布式文件系统范畴，没有对应的FileSystem实现，所以distcp不适合你的场景。

可行的导出方案 #

结合你的限制条件，以下几种方法可以实现3TB HDFS数据直接导出到远程普通文件系统：

1. 流式传输（无需本地存储中转） #

利用HDFS的读取命令结合SSH管道，直接将数据从HDFS流式传输到远程服务器，完全不占用本地服务器存储空间。

• 单个大文件场景：

hadoop fs -cat /hdfs/source/large_file | ssh root@remote-server "cat > /remote/target/large_file"

• 多文件/目录场景：
  写一个简单的遍历脚本，逐个传输文件并自动创建远程目录：

# 遍历HDFS目录下的所有文件（排除目录）
hadoop fs -ls -R /hdfs/source/dir | grep -v "^d" | awk '{print $8}' | while read hdfs_file; do
    # 构造远程文件路径
    remote_dir="/remote/target/dir/$(dirname "$hdfs_file" | sed 's/^\/hdfs\/source\/dir//')"
    remote_file="$remote_dir/$(basename "$hdfs_file")"
    
    # 在远程服务器创建目录
    ssh root@remote-server "mkdir -p $remote_dir"
    # 流式传输文件
    hadoop fs -cat "$hdfs_file" | ssh root@remote-server "cat > $remote_file"
done

优化建议：如果小文件数量多，频繁建立SSH连接会有开销，可以在本地~/.ssh/config中配置SSH连接复用，减少连接建立时间：

Host remote-server
  ControlMaster auto
  ControlPath ~/.ssh/sockets/%r@%h-%p
  ControlPersist 600s

2. 利用命名管道（FIFO）传输大文件 #

对于超大单个文件，使用命名管道可以避免本地存储占用，实现边读边传：

# 创建命名管道
mkfifo /tmp/hdfs_transfer_pipe
# 后台从HDFS读取数据到管道
hadoop fs -copyToLocal /hdfs/source/large_file /tmp/hdfs_transfer_pipe &
# 通过SSH将管道内容写入远程服务器
ssh root@remote-server "cat > /remote/target/large_file" < /tmp/hdfs_transfer_pipe
# 删除管道
rm /tmp/hdfs_transfer_pipe

3. 直接在远程服务器拉取HDFS数据（最优方案） #

如果远程服务器网络可以访问HDFS集群（能连接NameNode和DataNode的对应端口），直接在远程服务器上执行hadoop fs -copyToLocal命令，跳过本地服务器中转，效率最高：

# 在远程服务器上执行（需确保远程服务器有Hadoop客户端或能访问HDFS配置）
hadoop fs -copyToLocal /hdfs/source/dir /remote/local/target/dir

如果远程服务器没有Hadoop客户端，你可以将本地的Hadoop配置文件（core-site.xml、hdfs-site.xml）复制到远程服务器的$HADOOP_CONF_DIR目录，或在命令中指定配置：

hadoop --config /path/to/hadoop-conf fs -copyToLocal /hdfs/source/dir /remote/local/target/dir

内容的提问来源于stack exchange，提问作者RaceBase