Azure云VM中Spark Standalone集群Master URL公网IP配置问题

我来帮你搞定这个Spark Master URL的问题——之前在Azure虚拟机上搭Standalone集群时也遇到过一模一样的情况，给你几个实用的配置方案：

方法1：启动Master时临时指定公网IP #

如果只是临时测试，可以在启动Master节点时直接通过--host参数绑定公网IP：

./start-master.sh --host <你的公网IP地址>

启动后打开Web UI，就能看到Master URL已经变成spark://<公网IP>:7077了。

方法2：修改配置文件永久生效 #

如果想让配置永久生效，修改Spark的环境配置文件即可：

1. 进入Spark安装目录，复制模板文件生成配置文件（如果还没生成的话）：

   cp conf/spark-env.sh.template conf/spark-env.sh
   

2. 编辑conf/spark-env.sh，添加以下环境变量：

   # 指定Master绑定的公网IP
   export SPARK_MASTER_HOST=<你的公网IP地址>
   # Master通信端口（默认7077，可按需修改）
   export SPARK_MASTER_PORT=7077
   # WebUI端口（默认8080，可按需修改）
   export SPARK_MASTER_WEBUI_PORT=8080
   # 对外暴露的公网IP/DNS，适合NAT场景
   export SPARK_PUBLIC_DNS=<你的公网IP地址>
   

3. 重启Master节点：

   ./stop-master.sh
   ./start-master.sh
   

关键注意事项 #

一定要检查Azure虚拟机的网络安全组：开放以下端口给外部客户端访问：

• 8080：Spark Master WebUI端口
• 7077：Master与Worker/客户端通信的端口
• 8081（默认）：Worker节点的WebUI端口

完成以上配置后，外部客户端就能通过spark://<公网IP>:7077这个URL连接到你的Spark Master节点了。

内容的提问来源于stack exchange，提问作者Gnana