Ambari管理HDP2.6.4集群新增Worker时禁用DataNode数据复制咨询
针对HDP 2.6.4集群新增Worker节点禁用DataNode的解决方案
首先得明确:仅给新节点设置Ambari维护模式是不够的——Ambari的维护模式只是暂停对节点服务的监控告警,不会阻止HDFS向该DataNode发送块复制请求。要实现你的目标,需要结合HDFS本身的节点控制机制和Ambari的服务管理,具体步骤如下:
1. 停掉并禁用新节点的DataNode服务(若已部署)
如果已经通过Ambari在新节点上安装了DataNode,先彻底关停它:
- 登录Ambari控制台,进入HDFS服务的「Instances」页面
- 筛选出这10台新节点的DataNode实例,选中后点击「Stop」
- 停止完成后,把这些DataNode设置为禁用(Disable),避免Ambari在集群重启时自动启动它们
2. 通过HDFS排除列表彻底阻止块复制
HDFS的dfs.hosts.exclude配置是控制节点是否参与块存储的核心机制,操作如下:
- 在Ambari的HDFS配置页面,搜索
dfs.hosts.exclude参数 - 将这10台新节点的主机名(或IP地址)添加到该配置中,每行一个
- 保存配置后,在NameNode节点执行命令刷新节点列表:
这个命令会让NameNode立刻生效新的节点规则,不再向这些新节点发送任何块复制请求hdfs dfsadmin -refreshNodes
3. 开启Ambari维护模式避免告警干扰
因为我们故意停掉了新节点的DataNode,Ambari默认会触发服务异常告警。开启维护模式就能解决这个问题:
- 在Ambari的「Hosts」页面选中这10台新节点
- 点击顶部的「Actions」菜单,选择「Enable Maintenance Mode」
- 维护模式开启后,Ambari会暂停对这些节点所有服务的监控和告警,避免不必要的通知
额外优化建议
如果你还没完成新节点的部署,在Ambari添加Worker节点时,可以直接选择不安装DataNode组件,只安装ResourceManager,这样能省去后续的停止和禁用步骤,一步到位实现目标。
内容的提问来源于stack exchange,提问作者Judy
相关产品推荐
相关产品推荐

