如何合并HDFS中单个文件的多个小存储块？

你遇到的2MB文件对应100个存储块的问题，是NEW_BLOCK模式append的典型副作用：该模式下每次append调用都会强制生成新的存储块，与单次写入的数据量无关，所以会大量产生远小于配置块大小的碎块。

以下是两种可落地的合并方案： #

方案1：离线重写合并（全版本兼容） #

这是风险最低、适配所有Hadoop版本的方案，逻辑是把目标文件读取后重新写入，写入时关闭NEW_BLOCK模式走默认的连续块分配规则，写完替换原文件即可，块数量完全由你的配置块大小决定：

• 单次单文件合并命令示例：
  hadoop fs -cat /你的/原文件路径 | hadoop fs -put - /你的/临时合并文件路径 && hadoop fs -mv /你的/临时合并文件路径 /你的/原文件路径
• 如果要批量处理，可以写shell脚本遍历所有符合条件的小文件执行上述操作。

如果你的HDFS块大小配置为512KB，2MB的文件重写后正好会生成4个块，完全匹配你的需求。 #

方案2：在线块合并（Hadoop 2.7+版本支持） #

如果你的集群版本在2.7及以上，可以调用HDFS原生的concat能力直接合并碎块，不需要重新读写数据，执行速度极快：

注意：合并前必须暂停对目标文件的所有写入操作，确认所有块都处于已完成（closed）状态，否则会触发文件一致性错误。
操作逻辑：

• 先拉取目标文件对应的所有存储块的内部路径
• 执行concat命令合并为完整块：
  hdfs dfs -concat /你的/目标文件路径 块1路径 块2路径 ... 块N路径
  你可以写脚本批量拉取块路径自动拼接参数，适合存量碎块文件多的场景。

后续优化建议 #

• 调整NEW_BLOCK模式的触发逻辑：不要每次append都强制触发新块，改成累计写入数据达到配置块大小的80%以上时再生成新块，从源头减少碎块产生
• 配置定时任务：定期扫描7天以上无写入操作的文件，批量合并碎块，避免块数量过度膨胀占用NameNode内存

内容的提问来源于stack exchange，提问作者HPKG