Spark UI与节点内存配置显示异常问题求助

核心问题原因 #

直接修改/etc/hadoop/conf/yarn-site.xml后未重启YARN服务，且Dataproc集群的配置会被集群级别的设置覆盖，本地修改无法持久生效。

具体解决步骤 #

1. 临时生效：重启YARN服务
   在每个工作节点执行以下命令：

   sudo systemctl restart hadoop-yarn-nodemanager
   sudo systemctl restart hadoop-yarn-resourcemanager
   

   重启后刷新Spark UI查看配置是否更新。

2. 持久化修改：通过集群命令配置（推荐）
   Dataproc集群推荐用gcloud命令修改配置，确保集群重启后配置依然有效：

   gcloud dataproc clusters update CLUSTER_NAME \
       --update-yarn-config yarn.nodemanager.resource.memory-mb=49152,yarn.nodemanager.resource.cpu-vcores=8
   

   替换CLUSTER_NAME为你的集群名称，执行后集群会自动重启相关服务。

3. 配置验证
   服务重启后，通过两种方式确认配置：

   • 查看YARN ResourceManager UI（默认端口8088）的节点配置，核对每个节点的内存和CPU分配值
   • 检查Spark UI的集群总内存是否与预期一致

额外注意事项 #

Dataproc默认会根据机器类型自动分配资源，手动修改时需确保：

• yarn.nodemanager.resource.memory-mb的数值不能超过机器可用内存减去预留的OS/守护进程内存
• 若使用动态资源池，需同步调整Spark的spark.executor.memory等参数，确保资源使用率达到预期

内容的提问来源于stack exchange，提问作者chanchal ahuja