为什么HDFS副本系数为3时存在远超384M的大文件

你对HDFS副本系数的作用存在核心误解，副本是数据块的冗余备份机制，和单文件的大小上限没有任何关联，底层逻辑如下：

• 文件块拆分规则：HDFS会将单个文件按固定大小切分为多个独立的数据块，默认块大小为128M（可通过dfs.blocksize配置项调整）。单文件的总大小仅由自身数据量决定，比如3GB的文件会被拆分为约24个块，30GB的文件会被拆分为约240个块，块的数量只和文件本身大小挂钩，和副本系数无关。
• 副本的实际作用：副本系数指的是单个数据块在集群中存储的冗余份数，默认值3的含义是每个数据块会在不同的DataNode节点上存放3份完全相同的拷贝，核心作用是数据容灾：单节点/磁盘损坏时，可从其他节点的副本读取数据，不会出现数据丢失。
• 文件大小统计逻辑：NameNode管理页面展示的文件大小是文件的逻辑大小，也就是用户侧感知到的文件本身的大小，不会统计副本占用的额外集群存储空间。举个简单的例子：上传1GB的文件到HDFS，你看到的文件大小始终是1GB，但集群实际会消耗3GB的物理存储来存放3份副本。

HDFS单文件的理论上限由NameNode的内存容量决定，每个块的元数据仅占用约150字节的NameNode内存，只要NameNode内存足够，单文件可支持PB级别的大小，远高于你观测到的30GB。

内容的提问来源于stack exchange，提问作者user2894829