如何通过SFTP将HDFS文件直接传输到远程服务器而无需本地中转下载

你可以通过以下3种主流方案实现需求，全程不需要提前将HDFS文件下载到本地磁盘存储，支持文本、二进制等任意格式文件传输。建议提前配置当前节点到远程SFTP服务器的SSH密钥免密登录，避免明文泄露密码，也无需手动输入鉴权信息。

方案1：管道流对接传输（零额外依赖，适配所有环境） #

核心思路是通过hdfs dfs -cat将HDFS文件内容直接输出到标准输出流，再通过管道对接SFTP的标准输入流直接上传，不需要写入本地磁盘。
单文件传输命令示例：

hdfs dfs -cat /hdfs_path/folder/file.txt | sftp -b - "user@$remoteServer" <<< $'put /dev/stdin /remote_folder/file.txt'

如果你的shell环境不支持<<<语法，可以改用如下写法：

echo "put /dev/stdin /remote_folder/file.txt" | sftp -b - "user@$remoteServer" < <(hdfs dfs -cat /hdfs_path/folder/file.txt)

多文件批量传输可以结合循环实现：

# 遍历HDFS目标目录下的所有文件批量传输
for hdfs_file_path in $(hdfs dfs -ls /hdfs_path/folder/ | awk '{print $8}' | grep -v '^$'); do
    file_name=$(basename "${hdfs_file_path}")
    hdfs dfs -cat "${hdfs_file_path}" | sftp -b - "user@$remoteServer" <<< $'put /dev/stdin /remote_folder/'"${file_name}"
done

该方案不需要修改Hadoop集群配置、不需要安装额外工具，适合临时传输场景

方案2：Hadoop原生SFTP FileSystem直接拷贝（适合常态化批量传输） #

Hadoop本身支持将SFTP地址作为目标文件系统，配置后可以直接用hdfs dfs -cp命令完成跨文件系统拷贝，性能更优，适合定期批量传输的生产场景。
操作步骤：

1. 确认Hadoop集群已引入SFTP FileSystem依赖（多数Hadoop发行版默认自带），完成SSH免密登录配置
2. 直接执行拷贝命令即可：

hdfs dfs -cp /hdfs_path/folder/file.txt sftp://user@${remoteServer}/remote_folder/file.txt

如果临时测试需要明文指定密码（不推荐生产使用），可以写为：

hdfs dfs -Dfs.sftp.password=你的SFTP密码 -cp /hdfs_path/folder/file.txt sftp://user@${remoteServer}/remote_folder/file.txt

该方案底层由Hadoop处理流传输和容错，大文件、多文件传输效率更高

方案3：curl单命令传输 #

如果你的系统中curl版本编译时开启了HDFS和SFTP协议支持（可执行curl -V查看返回结果中是否包含sftp和hdfs标识），可以直接用curl实现单命令传输：

curl -u user:你的SFTP密码 "sftp://${remoteServer}/remote_folder/file.txt" -T "hdfs:///hdfs_path/folder/file.txt"

配置免密登录后可以省略密码参数：

curl "sftp://${remoteServer}/remote_folder/file.txt" -T "hdfs:///hdfs_path/folder/file.txt"

内容的提问来源于stack exchange，提问作者alejomarchan