Hadoop 2.7.3集群：如何限制DataNode磁盘使用率且不触发安全模式？

我来帮你梳理下这个问题——你遇到的核心点是搞混了NameNode和DataNode各自的磁盘预留参数，这也是很多Hadoop运维新手容易踩的坑。咱们一步步来解决：

为什么dfs.namenode.resource.du.reserved没效果？ #

这个参数是专门给NameNode的元数据存储预留空间（比如fsimage、edits这些核心元数据文件），它只管控NameNode角色的磁盘使用，完全不影响DataNode的数据块存储。你的Node A同时承担NameNode和DataNode角色，磁盘占满主要是DataNode存储的数据块导致的，所以设置这个参数自然没效果。

正确的解决方案 #

你需要针对DataNode的磁盘使用配置调整，同时结合数据平衡操作：

1. 配置DataNode的磁盘预留参数 #

修改所有DataNode节点的hdfs-site.xml，添加/调整以下两个关键参数：

• dfs.datanode.du.reserved：给DataNode所在节点预留非Hadoop用途的磁盘空间（比如系统文件、日志），确保磁盘使用率不超过目标值。
  你的Node A是25GB磁盘，目标使用率85%，计算下来需要预留：25GB * (1 - 0.85) = 3.75GB，所以参数值可以设为3.75g（Hadoop支持g/m等单位后缀）。
• dfs.datanode.fsdataset.volume.choosing.policy：设置数据块存储的选择策略，优先往可用空间多的节点写，避免Node A被持续写入。推荐用AvailableSpaceVolumeChoosingPolicy策略。

配置示例：

<property>
    <name>dfs.datanode.du.reserved</name>
    <value>3.75g</value>
</property>
<property>
    <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
    <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
</property>

2. 同步配置并重启集群 #

• 先停止集群：先停YARN服务，再停HDFS服务

  stop-yarn.sh
  stop-dfs.sh
  

• 将修改后的hdfs-site.xml同步到所有节点（比如用scp）
• 重启集群：

  start-dfs.sh
  start-yarn.sh
  

3. 手动平衡集群数据 #

配置生效后，你可以用Hadoop的Balancer工具把Node A上的部分数据迁移到Node B和Node C，快速降低它的磁盘使用率：

hdfs balancer -threshold 5

这个命令会自动平衡所有节点的磁盘使用率，-threshold 5表示当所有节点的使用率差异不超过5%时停止平衡。

额外注意事项 #

• 保留dfs.namenode.resource.du.reserved的3GB设置：因为Node A是NameNode，要确保元数据有足够的存储空间，避免元数据占满磁盘导致NameNode崩溃。
• 定期清理日志：$HADOOP_HOME/logs下的旧日志会占用不少空间，建议定期清理（比如用logrotate工具）。
• 监控磁盘状态：配置监控工具（比如Prometheus+Grafana）实时跟踪各节点的磁盘使用率，提前预警磁盘不足的情况。

内容的提问来源于stack exchange，提问作者Sebastian Kaczmarek