如何从客户端向Hadoop集群并行上传文件？（解决hadoop fs -put顺序上传问题）

默认的hadoop fs -put是单线程顺序传输，面对大文件时效率确实拉胯。下面分享几种实用的并行上传方案，都是我日常工作里验证过的：

1. 用Hadoop自带的distcp工具（最推荐） #

distcp是Hadoop专门为分布式拷贝设计的工具，天生支持并行传输，底层会启动多个Map任务来拆分文件、并行上传。

使用方式： #

如果是从本地文件系统上传到HDFS，直接执行：

hadoop distcp file:///your/local/large-file hdfs://namenode:8020/hdfs/target/path/

调整并行度： #

默认的Map数量是根据文件大小自动计算的，你也可以用-m参数手动指定并行任务数，比如设置10个并行上传任务：

hadoop distcp -m 10 file:///local/path/large-file hdfs://namenode:8020/hdfs/path/

这个方法的好处是不用自己处理拆分和合并，工具会帮你搞定，而且稳定性高，适合绝大多数场景。

2. 手动拆分文件+多线程批量上传 #

如果你想更灵活地控制上传过程，可以先把大文件拆分成多个小文件，再用脚本启动多个hadoop fs -put进程并行上传，最后在HDFS上合并成原文件。

步骤： #

• 第一步：拆分本地大文件（比如按100MB拆分）

split -b 100M /local/path/large-file /local/temp/part-

这会生成part-aa、part-ab等一系列小文件。

• 第二步：写个简单的Shell脚本批量并行上传

#!/bin/bash
for file in /local/temp/part-*
do
    hadoop fs -put $file hdfs://namenode:8020/hdfs/temp/ &
done
wait

&符号让每个上传任务后台运行，wait确保所有任务完成后再继续。

• 第三步：在HDFS上合并小文件

hadoop fs -cat hdfs://namenode:8020/hdfs/temp/part-* | hadoop fs -put - hdfs://namenode:8020/hdfs/target/large-file
# 合并完成后删除临时小文件
hadoop fs -rm hdfs://namenode:8020/hdfs/temp/part-*

这个方法适合需要自定义拆分规则或者临时应急的场景，但要注意控制并行进程数，别把客户端机器的资源占满了。

3. 基于HDFS API自定义并行上传（开发场景） #

如果是开发应用，可以直接用HDFS的客户端API（Java/Python等）实现分块并行上传。比如用Java的FileSystem类，将文件分成多个块，每个块用独立的线程上传到HDFS的同一个文件中。

举个Java的简单思路：

• 读取本地文件，按HDFS的块大小（默认128MB）拆分数据块
• 每个数据块启动一个线程，通过FSDataOutputStream的seek()方法定位到对应位置写入数据
• 所有块写入完成后，关闭输出流完成文件上传

这种方式适合需要集成到业务系统里的场景，灵活性最高，但需要自己处理线程同步和异常情况。

额外小贴士 #

• 不管用哪种方法，都可以调整客户端的HDFS配置参数来优化上传性能，比如增大dfs.client.socket.timeout避免超时，调整dfs.client.write.packet.size优化数据包大小。
• 如果是跨集群上传，distcp还支持直接从其他HDFS集群并行拉取数据，非常方便。

内容的提问来源于stack exchange，提问作者Mayank Goyal