Centos上Cloudera Express 5.11集群HDFS配置容量异常问题

针对你在CentOS上部署Cloudera Express 5.11集群时遇到的扩容后磁盘容量显示不一致问题，我整理了几个高频原因和对应的排查、解决步骤：

1. 排查Datanode存储目录配置差异 #

这是集群扩容时最容易踩的坑，大概率是前后节点的Datanode数据目录配置不一致：

• 在所有节点上查看/etc/hadoop/conf/hdfs-site.xml中的dfs.datanode.data.dir参数，对比前7个节点和后4个节点的配置内容
• 如果后4个节点的该参数里包含了重复的磁盘路径、或者误添加了根目录这类大容量挂载点，会导致HDFS重复计算磁盘容量，出现21.39TB这种远大于实际硬件的数值
• 也可以通过Cloudera Manager快速核查：进入主机页面选中后4个节点，点击配置，搜索「Datanode 存储目录」，确认路径仅包含目标磁盘的挂载点（比如/data/hdfs），且无重复项

2. 验证磁盘挂载与文件系统配置 #

即便硬件磁盘容量一致，挂载方式或文件系统的差异也会导致HDFS识别的容量偏差：

• 在异常节点上执行df -h，查看目标磁盘挂载点的Size列数值，和HDFS报告的Configured Capacity做对比
• 执行lsblk或blkid确认磁盘分区情况：如果后4个节点的磁盘未分区直接挂载、或使用了和前7个节点不同的文件系统（比如ext4 vs XFS），可能会引发容量计算差异
• 检查/etc/fstab中的挂载参数，确保前后节点的磁盘挂载选项完全一致

3. 检查HDFS预留空间配置 #

HDFS会从磁盘总容量中扣除dfs.datanode.du.reserved参数指定的预留空间，若前后节点该配置不同，也会导致显示的容量不一致：

• 查看hdfs-site.xml中的dfs.datanode.du.reserved值，默认是0；如果前7个节点设置了较大的预留值（比如接近1TB），会让显示的容量比实际磁盘小，而后4个节点未设置该值的话，就会显示接近磁盘总容量的数值
• 也可以在Cloudera Manager的HDFS服务配置中搜索「预留空间」，确认全局配置一致，且没有给后4个节点单独设置覆盖参数

4. 重启Datanode并重新生成报告 #

如果调整了上述配置，需要重启异常节点的Datanode服务让配置生效：

• 通过Cloudera Manager选中后4个节点的Datanode服务，执行重启操作
• 服务重启完成后，重新执行hdfs dfsadmin -report，观察容量显示是否恢复正常

内容的提问来源于stack exchange，提问作者Enrico Gallinucci