本地Python Notebook提交Spark任务至GCP独立集群连接Master失败求助

我帮你梳理下这个连接失败问题的排查方向，结合你的GCP环境，大概率是网络或配置层面的问题：

1. 先确认Spark Master的监听地址是否对外开放 #

Spark默认可能只绑定了localhost，导致外部（包括你的本地机器）根本访问不到。你需要调整Master的配置：

• 登录到sparkmaster这台VM，找到Spark安装目录下的conf/spark-env.sh文件（如果没有就复制spark-env.sh.template重命名）
• 添加这两行配置，把<sparkmaster的IP>换成这台VM的公网IP或者内部可访问IP：

  export SPARK_MASTER_HOST=<sparkmaster的IP>
  export SPARK_MASTER_PORT=7077
  

• 重启Spark Master服务：先执行$SPARK_HOME/sbin/stop-master.sh，再执行$SPARK_HOME/sbin/start-master.sh
• 验证监听状态：在Master VM上跑netstat -tulpn | grep 7077，确保输出里的监听地址是0.0.0.0或者你指定的VM IP，而不是127.0.0.1

2. 检查GCP防火墙规则是否放行7077端口 #

GCP的防火墙默认会拦截外部流量，你得手动开放Spark Master的通信端口：

• 打开GCP控制台的「VPC网络」→「防火墙规则」
• 创建一条新规则，允许来自你本地机器IP（测试阶段也可以暂时用0.0.0.0/0，生产环境别这么做）的TCP流量到7077端口
• 目标要选对：要么给sparkmaster VM打个标签，规则里指定这个标签；要么直接把规则应用到这台VM实例上

3. 修正本地Notebook里的Spark Session连接地址 #

别用sparkmaster这个主机名，你的本地机器解析不了GCP VM的内部主机名，直接换成Master的公网IP：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("spark://<sparkmaster公网IP>:7077") \
    .appName("LocalNotebookDemo") \
    .getOrCreate()

如果你本地和GCP集群在同一个VPC（比如搭了VPN），可以用内部IP，否则必须用公网IP。

4. 测试本地到Master的网络连通性 #

在本地机器上用telnet或者nc命令测一下端口能不能通：

# 用telnet测试
telnet <sparkmaster公网IP> 7077

# 或者用nc（更直观）
nc -zv <sparkmaster公网IP> 7077

如果连接失败，说明网络层面还有问题，回到防火墙或Master配置排查；如果能通，再检查代码里的Spark配置有没有写错。

5. 顺带确认Worker和Master的通信状态 #

虽然你报错的是本地连Master，但如果Worker也连不上Master，那集群本身就有问题：

• 登录到Worker VM，查看$SPARK_HOME/logs下的日志，确认Worker是否成功注册到Master
• 如果Worker注册失败，先解决集群内部的通信问题，再处理本地连接

内容的提问来源于stack exchange，提问作者user2277675