Spark使用错误网络接口问题：Docker Overlay网络下Hadoop集群场景

首先咱们得抓住问题的核心：你的Docker容器里同时存在Overlay专属网络（10.0.0.0）和主机共享网络（172.18.0.0），Spark默认会根据系统路由表或接口顺序选通信接口，结果错选了跨主机不互通的172.18.0.0网段，导致集群节点间通信异常。下面是几个落地性强的解决方案，按优先级排序：

1. 直接强制Spark绑定Overlay网络 #

这是最直接的根治方法，指定Spark全程使用Overlay网段的IP和接口：

修改Spark全局配置 #

在所有集群节点的$SPARK_HOME/conf/spark-env.sh里添加以下配置（替换成对应容器的10.0.0.0网段IP）：

# 指定Spark本地绑定的IP
export SPARK_LOCAL_IP=10.0.0.x
# 驱动程序对外暴露的地址（必须是其他节点能访问的Overlay IP）
export SPARK_DRIVER_HOST=10.0.0.x
# Worker节点的通信地址
export SPARK_WORKER_HOST=10.0.0.x

如果只是临时测试，也可以在提交作业时通过参数指定：

spark-submit \
  --conf spark.driver.host=10.0.0.x \
  --conf spark.driver.bindAddress=10.0.0.x \
  --conf spark.executor.extraJavaOptions="-Dspark.executor.host=10.0.0.y" \
  --class com.your.app.Main \
  your-app.jar

同步Hadoop配置（如果是Hadoop集成Spark） #

因为你的Spark是跑在Hadoop集群上的，得确保Hadoop也用Overlay网络通信：
修改core-site.xml：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://10.0.0.1:9000</value> <!-- master的Overlay IP -->
</property>

修改yarn-site.xml：

<property>
  <name>yarn.resourcemanager.address</name>
  <value>10.0.0.1:8032</value>
</property>
<property>
  <name>yarn.nodemanager.address</name>
  <value>10.0.0.y:45454</value> <!-- slave节点的Overlay IP -->
</property>

2. 调整Docker容器的网络优先级 #

让Overlay网络成为容器的默认网络，这样系统路由会优先走这个网段：

如果是新建容器，启动时先挂载Overlay网络，再挂共享网络：

docker run -d \
  --name master \
  --network hadoop-overlay \
  --network-alias master \
  --network host-shared \
  your-hadoop-image

如果是已运行的容器，先断开共享网络再重新连接（需要重启容器生效）：

# 先断开共享网络
docker network disconnect host-shared master
# 重新连接，Overlay网络会保持默认优先级
docker network connect host-shared master

3. 容器内部配置路由规则 #

在每个容器里添加路由规则，让集群通信流量强制走Overlay接口：

# 假设Overlay网络对应的接口是eth1，给它设置最高优先级
ip route add 10.0.0.0/24 dev eth1 metric 100
# 降低共享网络的路由优先级，让它只处理外部流量
ip route change 172.18.0.0/24 dev eth0 metric 200

可以把这些命令加到容器的启动脚本里，确保每次启动都自动生效。

验证配置是否生效 #

做完配置后，你可以通过这几步确认：

• 在master节点启动spark-shell，查看日志里的Spark driver running on是否是10.0.0.0网段的IP
• 在slave1节点ping master的Overlay IP，确保能正常连通
• 提交一个简单的Spark作业（比如计算Pi），检查所有Executor是否能正常注册并执行任务

内容的提问来源于stack exchange，提问作者Mohamed Amine Ouali