Docker Stack单节点部署多Datanode时HDFS配置容量显示异常如何解决

问题原因 #

你当前遇到的容量重复统计问题，本质是同一物理机上部署的两个Datanode容器，存储卷均挂载在宿主机的同一个256GB分区下。默认情况下Datanode会统计存储路径所在分区的总可用容量，因此两个Datanode读取到的都是宿主机整个分区的剩余容量，最终HDFS总容量被重复计算。

解决方案 #

方案一：通过Hadoop配置手动限定Datanode容量（兼容性最高，推荐测试环境使用） #

无需修改Docker配置，直接在你使用的hadoop.env文件中添加如下配置，手动指定每个Datanode的最大可用容量：

DFS_DATANODE_MAX_CAPACITY=110g

你可以根据实际需求调整容量值，比如宿主机剩余可用容量为226GB，你可以给两个Datanode各分配110GB，配置完成后重启所有Hadoop服务即可生效，HDFS会按照你设定的配额统计总容量。

方案二：给Docker存储卷设置容量配额 #

如果需要从Docker层面限制Datanode的存储使用上限，可给每个Datanode的存储卷单独设置容量配额，该方案需要你的Docker存储驱动支持配额功能（XFS文件系统需开启pquota挂载参数，或使用Btrfs、devicemapper等存储驱动）：

1. 删除原有Datanode存储卷：

docker volume rm hadoop-datanode-1 hadoop-datanode-2

2. 重新创建带配额的存储卷（以每个卷配额100GB为例）：

docker volume create --opt o=size=100g hadoop-datanode-1
docker volume create --opt o=size=100g hadoop-datanode-2

配置完成后重启服务，Datanode会直接读取卷的配额作为可用容量，不会再读取整个宿主机分区的容量。

注意事项 #

单台物理机部署多个Datanode仅适合功能测试使用，生产环境不建议采用该部署方式，物理机宕机会导致所有HDFS副本丢失，无法满足高可用要求。

内容的提问来源于stack exchange，提问作者Diogo Rodrigues