Docker容器部署Spark+Hadoop：Yarn上Spark WebApp代理访问500错误求助

我之前在Docker部署Spark+Hadoop集群时也碰到过几乎一模一样的问题，结合你的集群配置（3个Master、2个Slave），咱们一步步定位问题、解决问题：

1. 先确认核心网络连通性问题 #

Yarn的ResourceManager（也就是你访问的172.20.0.2:8088）要代理Spark应用的UI，必须能直接访问到Spark Driver所在容器的UI端口（默认是4040）。你可以这么排查：

• 先在Yarn的集群应用页面（http://172.20.0.2:8088/cluster/apps）找到报错的应用，点击进去看Tracking URL，里面会显示Driver的地址（比如http://<driver-ip>:4040）。
• 进入ResourceManager对应的容器（172.20.0.2），执行curl <driver-ip>:4040，如果返回连接超时或拒绝，那就是容器间网络不通：
  • 检查你用的是不是Docker自定义桥接网络？默认桥接网络有DNS解析坑，建议换成自定义桥接，让容器能通过IP或容器名互相访问。
  • 确认Driver容器的4040端口在内部网络没被防火墙/iptables拦截，Docker容器内部默认是开放的，但如果你的集群有额外安全配置要检查。

2. 核对Yarn与Spark的关键配置 #

这些参数是代理功能正常工作的核心，务必确认：

在Yarn的yarn-site.xml中： #

• 确保yarn.resourcemanager.webapp.address设的是ResourceManager容器的内部IP（比如172.20.0.2:8088），别用localhost或宿主机IP。
• 开启代理用户权限：

  <property>
      <name>yarn.proxy-user-privileges.enabled</name>
      <value>true</value>
  </property>
  

在Spark的spark-defaults.conf中： #

• 强制指定Driver的主机地址为容器内部IP（或能被ResourceManager解析的容器名），避免默认绑定localhost：

  spark.driver.host <driver-container-ip>
  

• 开启反向代理支持：

  spark.ui.reverseProxy true
  

• 确保代理路径配置正确（新版本Spark需要）：

  spark.yarn.proxyBase /proxy
  

3. 检查容器主机名与IP映射 #

Docker容器默认的/etc/hosts可能把主机名绑定到127.0.0.1，导致Yarn解析Driver地址出错：

• 进入每个容器查看/etc/hosts，确认容器主机名对应的是集群内部IP，而非回环地址。
• 启动容器时可以用--add-host手动添加集群内节点的映射，比如：

  docker run --add-host master1:172.20.0.2 --add-host slave1:172.20.0.3 ...
  

4. 从日志找具体错误原因 #

HTTP 500是内部错误，日志里会有详细的异常信息：

• 查看ResourceManager的日志（路径一般是$HADOOP_HOME/logs/yarn-*-resourcemanager-*.log），搜索proxy或500关键词，找到具体的异常栈（比如连接超时、权限不足、地址解析失败等）。
• 同时查看Spark Driver的日志（在Yarn应用页面的Logs入口能找到），确认UI是否正常启动、端口是否正确绑定。

5. 验证修复效果 #

修改配置后重启Yarn和Spark集群，提交一个简单的测试任务（比如spark-submit --class org.apache.spark.examples.SparkPi examples/jars/spark-examples_*.jar 10），然后再次访问http://172.20.0.2:8088/proxy/<application-id>/，应该就能正常打开Spark监控页面了。

内容的提问来源于stack exchange，提问作者Mohamed Amine Ouali