GCP虚拟机上运行Spark Driver遇连接故障求助

核心问题分析 #

你遇到的问题本质是本地运行的Spark Driver（IP为192.168.0.102）处于内网环境，GCP上的Master/Worker节点无法直接访问这个内网IP，导致任务资源无法分配，触发TaskSchedulerImpl警告。之前的尝试存在以下误区：

• 把spark.driver.host设为GCP实例IP：本地机器没有这个公网IP，自然会端口绑定失败
• 防火墙规则只关注入站（Web UI），忽略了Worker需要主动连接Driver的出站/入站规则
• Python Spark确实不支持cluster部署模式（该模式要求Driver运行在集群节点上，仅适用于Java/Scala或通过spark-submit上传Python脚本的场景）

正确解决步骤 #

1. 配置Driver的公网可访问地址 #

Driver运行在本地，必须让GCP集群能访问到你的本地公网IP，而非GCP实例IP：

• 先查询本地机器的公网IP（可通过本地终端执行curl ifconfig.me获取）
• 在Python代码中指定Driver的公网IP和固定端口（避免随机端口导致防火墙配置复杂）：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("spark://xx.xx.xx.xxx:7077")  # 你的GCP Master公网IP
    .appName("LocalDriver-GCPCluster") \
    .config("spark.driver.host", "你的本地公网IP") \
    .config("spark.driver.port", "50000")  # 自定义一个固定端口，比如50000
    .getOrCreate()

2. 调整防火墙规则 #

需要同时配置本地防火墙和GCP实例防火墙：

• 本地机器防火墙：开放指定的50000端口，允许GCP实例的公网IP访问（测试阶段可暂时允许所有IP，后续再缩小范围）
• GCP实例防火墙：
  • 添加出站规则：允许实例访问你的本地公网IP的50000端口（Worker需要主动连接Driver）
  • 确保现有的入站规则不限制Master/Worker的正常通信（比如7077、8080等端口已开放）

3. 连通性验证 #

在GCP实例的终端执行以下命令，验证是否能访问本地Driver端口：

telnet 你的本地公网IP 50000

如果能成功连接，说明网络通路已打通；若连接失败，检查两边防火墙规则是否配置正确，或本地是否有NAT/路由器端口映射问题（如果本地在路由器后，需要在路由器上做端口转发，把50000端口映射到本地机器的内网IP）。

4. 额外优化建议 #

• 如果本地经常更换公网IP，可以考虑使用动态DNS服务绑定域名，避免每次修改spark.driver.host
• 若长期使用这种本地Driver连接远程集群的模式，建议把Driver部署到GCP内网的实例中，通过VPN或内网连接访问，这样更稳定且无需暴露本地公网端口

内容的提问来源于stack exchange，提问作者SHIVAM SINGH