Hadoop 3.1.4 环境下Yarn容器分配数与列表查询结果不一致求助
Yarn 3.1.4 (Ubuntu 20.04) 容器数显示与实际列表不一致问题排查方案
核心问题特征
- NodeManager Web UI显示目标应用尝试
appattempt_1606741386263_0002_000001的总分配容器数为4 - 同一页面下的容器列表区域无有效条目,提示
No data available in table - 执行
yarn container -list命令查询容器信息时无返回结果
排查方向与对应解决方案
1. 优先核对输入参数的匹配性
- 检查命令行查询使用的应用尝试ID与Web UI展示的完整ID是否一致:当前执行查询时传入的ID为
appattempt_1606741386263_0002_00000,与Web UI上的完整ID相比缺失最后1位字符1,ID不匹配会直接导致命令无法匹配到对应容器信息,无返回结果。 - 修正查询命令为完整ID格式:
yarn container -list appattempt_1606741386263_0002_000001,重新执行验证是否能正常返回容器列表。
2. 明确NodeManager Web UI的视图边界
- NodeManager Web UI为单节点本地视图:页面展示的“总已分配容器数”是从ResourceManager同步的集群维度全局统计值,下方的容器列表仅展示当前访问的这台NM节点上,归属于该应用尝试的本地运行容器。
- 若该应用尝试的4个容器全部被调度到其他NM节点运行,当前访问的节点没有对应的本地容器记录,就会触发空表格提示,该情况不属于运行故障。可通过ResourceManager Web UI的全局容器列表,确认4个容器的实际分布节点,切换到对应节点查看本地容器条目。
3. 校验容器状态的生命周期一致性
- 检查目标应用尝试的运行阶段:若应用已经运行结束(包括成功、失败、被主动Kill),NodeManager会按照配置规则清理本地容器记录,清理触发条件由参数
yarn.nodemanager.container-retention-millis控制(默认值为-1,即容器结束后立即清理)。此时ResourceManager侧留存的应用尝试历史统计信息仍会显示总分配容器数,但NM侧的本地容器记录已被清除,就会出现两者显示不一致的情况。 - 可通过日志验证容器清理状态:执行
grep "appattempt_1606741386263_0002_000001" $HADOOP_HOME/logs/yarn-*nodemanager-*.log,查看是否存在容器清理、状态移除的相关日志。 - 若需要延长容器记录的保留时间方便后续排查,可调整上述保留时长参数为合理值(例如3600000,即保留1小时)。
4. 排查版本固有异常导致的状态不同步
- Hadoop 3.1.4存在已知的NM与RM状态同步异常问题:当NM节点与RM的心跳间隔出现网络抖动时,可能出现RM侧统计的容器分配数正确,但NM侧本地状态缓存未同步对应容器信息的情况,进而导致Web UI无法拉取到列表数据。
- 该类问题可通过重启对应节点的NodeManager服务解决,重启后NM会主动从RM拉取当前活跃的容器列表,重建本地状态缓存。
- 同时可排查浏览器端的缓存问题:强制刷新NM Web UI页面、清除浏览器本地缓存,排除前端数据加载失败导致的空表格提示。
内容的提问来源于stack exchange,提问作者jl0x61
相关产品推荐
相关产品推荐

