如何在GCP Dataproc获取主节点地址并配置PySpark作业setMaster()

一、为什么不手动设置Master也能正常运行？ #

Dataproc集群默认会自动配置Spark运行环境，无论是在主节点本地执行PySpark代码，还是通过gcloud dataproc jobs submit pyspark命令提交作业，Spark都会自动关联到集群的Master节点，无需手动指定setMaster参数。

二、获取Dataproc主节点的Spark Master URL #

方法1：从GCP控制台集群详情页获取 #

1. 进入GCP控制台的Dataproc集群列表
2. 点击目标集群名称进入详情页
3. 在集群信息区域找到Spark Master字段，其格式为spark://<MASTER_HOSTNAME>:7077，这里的主机名是Dataproc主节点的内部域名（通常以集群名加-m开头）。

方法2：通过gcloud命令行获取 #

在本地终端或Cloud Shell执行以下命令，替换<CLUSTER_NAME>和<REGION>为你的集群名称和区域：

gcloud dataproc clusters describe <CLUSTER_NAME> --region <REGION> | grep "sparkUri"

执行后会直接返回完整的Spark Master URL。

方法3：在主节点本地查看 #

登录到Dataproc主节点，执行以下命令查看当前Spark Master地址：

echo $SPARK_MASTER_URI

也可以查看Spark配置文件/etc/spark/conf/spark-defaults.conf，找到spark.master字段对应的取值。

三、手动配置Master的注意事项 #

如果一定要手动指定Master，需注意以下几点：

• 避免使用公网IP：Dataproc集群内部节点通过内网通信，使用主节点的公网IP会导致连接失败，必须使用内部主机名或内网IP。
• 端口访问规则：默认7077端口是Spark Master的通信端口，集群内部已配置防火墙允许节点间访问；若从集群外部提交作业（如本地机器），需额外配置防火墙开放7077端口（不推荐，存在安全风险）。
• 代码中的正确配置方式：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("spark://<MASTER_HOSTNAME>:7077") \
    .appName("YourAppName") \
    .getOrCreate()

四、推荐的作业提交方式 #

更推荐使用Dataproc官方的作业提交命令，无需手动指定Master，稳定性更高且符合最佳实践：

gcloud dataproc jobs submit pyspark gs://your-bucket/your-job.py --cluster <CLUSTER_NAME> --region <REGION>

内容的提问来源于stack exchange，提问作者Dipak Monty