存储大量1KB小文件的HDFS集群Balancer均衡调优咨询

核心问题答复 #

你提到的dfs.balancer.getBlocks.min-block-size参数作用是控制Balancer仅迁移大小大于等于该阈值的块，默认值为10485760字节（即10MB），所以默认配置下KB级小文件的块确实不会被Balancer识别迁移。
你需要将该参数值调整为1024（注意单位为字节，1KB对应1024字节，你提到的1048是错误值），即可让Balancer支持迁移1KB大小的文件块。

额外注意事项 #

调整上述参数后如果均衡效率仍不符合预期，可同步优化以下配置：

• 该参数仅需在运行Balancer进程的节点的hdfs-site.xml中配置，修改后重启Balancer进程即可生效，无需重启NameNode或DataNode
• 调大均衡带宽限制：默认dfs.datanode.balance.bandwidthPerSec参数值为1048576字节/秒（即1MB/s），小文件场景下过低的带宽会极大拖慢均衡进度，可根据集群空闲业务带宽调整到10MB/s~100MB/s区间，避免影响线上业务
• 可适当降低均衡阈值：启动Balancer时添加-threshold <数值>参数，默认阈值为10，即节点存储使用率与集群平均使用率差值小于10%时停止均衡，调小到5可让均衡覆盖更多节点块
• 小文件场景下每个块迁移的元数据开销远高于大文件，均衡速度会明显慢于大文件场景，建议优先完成部分小文件合并后再执行均衡，整体效率会提升数倍以上

内容的提问来源于stack exchange，提问作者dzbeda