如何从Web直接提取tar.gz文件至HDFS，跳过本地磁盘下载环节？

没问题，这个需求完全可以通过管道串联命令实现——全程不用把完整的tar.gz文件写到本地磁盘，完美解决大文件带来的本地存储压力问题。下面给你两种方案，分别对应不同的tar包场景：

方案1：tar包仅包含单个文件 #

如果你的tar.gz压缩包里只有一个文件，用这条简洁的命令就够了：

wget -qO- https://your-target-url/file.tar.gz | tar -xzO | hdfs dfs -put - /hdfs/target/path/single-file.txt

各部分作用解析：

• wget -qO-：静默模式（-q）避免冗余输出，-O-将下载内容直接输出到标准输出，不写入本地文件
• tar -xzO：x表示解压，z处理gzip压缩格式，O将解压后的文件内容输出到标准输出
• hdfs dfs -put - /hdfs/...：-代表从标准输入读取内容，直接上传到HDFS指定路径

方案2：tar包包含多文件/目录结构 #

如果tar包里有多个文件或者嵌套目录，上面的方法会把所有文件内容混在一起。这时可以用tar的--to-command选项，逐个处理每个解压出来的文件并保留目录结构：

wget -qO- https://your-target-url/directory.tar.gz | tar -xz --to-command='mkdir -p "/hdfs/target/path/$(dirname "$TAR_FILENAME")" && hdfs dfs -put - "/hdfs/target/path/$TAR_FILENAME"'

关键细节说明：

• tar -xz --to-command='...'：解压过程中，对每个提取出的文件/目录执行后面的自定义命令
• $TAR_FILENAME：tar命令自动设置的环境变量，代表当前处理的文件名（包含原tar包内的相对路径）
• mkdir -p "/hdfs/target/path/$(dirname "$TAR_FILENAME")"：先在HDFS上创建对应的父目录，确保上传路径存在
• hdfs dfs -put - "/hdfs/target/path/$TAR_FILENAME"：将当前文件的内容（从标准输入读取）上传到HDFS的对应位置

额外注意事项 #

• 确保你的HDFS客户端（hdfs命令）已正确配置，能正常连接到目标集群
• 如果下载URL需要认证，可给wget添加对应参数：
  • 用户名密码认证：wget --user=your-username --password=your-password -qO- <URL>
  • Bearer Token认证：wget --header="Authorization: Bearer your-token" -qO- <URL>
• 大文件传输时，若想查看进度：
  • 去掉wget的-q换成-v，查看下载进度
  • 安装pv工具后，用它显示全程流处理进度：

    wget -O- https://your-target-url/large-file.tar.gz | pv | tar -xz --to-command='mkdir -p "/hdfs/target/path/$(dirname "$TAR_FILENAME")" && hdfs dfs -put - "/hdfs/target/path/$TAR_FILENAME"'
    

内容的提问来源于stack exchange，提问作者Piotr Reszke