Docker容器内Spark Master节点远程连接失败：telnet通但pyspark报错

我之前帮好几个朋友排查过这个问题，telnet能通7077但PySpark连不上，大概率是地址绑定或者容器网络的锅，给你几个具体的排查和解决方向：

• 检查Spark Master的绑定地址
  Spark默认可能会绑定到容器内部的localhost或者私有IP，导致远程机器无法通过宿主机IP访问。你需要修改Spark的环境配置文件spark-env.sh，添加或修改以下参数：

export SPARK_MASTER_HOST=你的宿主机局域网/公网IP

修改完成后重启Master服务，或者启动Master时直接指定地址：

./sbin/start-master.sh -h 你的宿主机IP

• 确认容器端口映射的正确性
  如果Spark Master运行在Docker容器内，必须确保宿主机的7077端口正确映射到容器内的7077端口。启动容器时要明确添加端口映射参数：

docker run -p 7077:7077 -p 8080:8080 你的Spark镜像

还要注意容器内的Master是否绑定到0.0.0.0（允许所有地址访问），而不是仅容器内部IP。

• 核对远程客户端的Spark配置
  在发起连接的机器上，检查PySpark使用的配置：确保spark.master参数设置为spark://你的宿主机IP:7077，而不是容器内部的私有IP。另外，客户端的Spark版本必须和集群版本完全一致，版本不兼容也会导致连接失败。

• 排查防火墙/安全组的深层限制
  虽然telnet能连通7077，但部分防火墙的状态检测规则可能会拦截Spark的通信包（比如只允许本地发起的连接请求）。可以临时关闭宿主机的防火墙测试，或者添加专门的规则，允许远程IP访问7077端口。

• 检查Worker的注册地址（关联问题）
  如果后续连接成功但任务无法执行，还要确认Worker注册时使用的是宿主机IP而非容器内部IP。可以在spark-env.sh中添加：

export SPARK_WORKER_HOST=你的宿主机IP

启动Worker时也直接指定Master地址：

./sbin/start-worker.sh spark://你的宿主机IP:7077

内容的提问来源于stack exchange，提问作者Andre Garcia