HDFS或HBase是否存在限制单节点存储空间占用的相关配置?
HDFS 单节点存储空间限制方案
HDFS原生没有提供直接指定单DataNode最大存储上限的参数,你已经查询到的两个配置组合即可实现你的需求:
- 单节点测试场景下最便捷的实现方式是通过
dfs.datanode.du.reserved参数间接控制:该参数预留的存储空间HDFS不会占用,你可以用「磁盘总容量 - 你期望HDFS使用的最大容量」计算出需要预留的数值,将该值(单位为字节)配置到dfs.datanode.du.reserved即可。比如你所用的磁盘总容量为100GB,期望HDFS最多使用60GB,就将该参数值设为41943040(即40GB对应的字节数)。 - 如果你需要更精准的隔离,也可以先在操作系统层面为HDFS专门划分独立的磁盘分区或目录,通过
dfs.data.dir仅指定该分区/目录作为HDFS存储路径,配合操作系统的磁盘配额功能,也能实现固定的存储上限管控。
HBase 单节点存储空间限制方案
HBase本身没有提供独立的单节点存储上限配置参数,它的所有数据最终都存储在底层的HDFS中,因此你只需要完成上述HDFS层的单节点存储限制配置,上层的HBase就会自动受到该容量限制的约束,不需要额外做HBase侧的配置。
内容的提问来源于stack exchange,提问作者user3091996
相关产品推荐
相关产品推荐

