如何在本地执行spark-submit提交任务到远程Spark Master？

嘿，这个问题我之前帮不少开发者解决过，核心就是让本地的spark-submit能识别远程集群的Master节点，同时保证版本兼容。下面一步步给你讲清楚操作方式：

第一步：先确认版本匹配 #

首先必须保证你本地安装的Spark版本完全一致（包括小版本号），和远程集群的Spark版本。比如远程用的是2.4.8，你本地也得装2.4.8——版本不匹配大概率会触发序列化异常、API不兼容这类头疼的问题。

第二步：直接通过命令行指定远程Master（最简方式） #

这是最直接的临时方案，不用修改任何本地配置，每次提交任务时加上--master参数即可。

针对Standalone模式集群 #

假设你的远程Spark Master地址是spark://remote-cluster-host:7077（默认端口是7077，若集群修改过端口则替换为对应值），本地执行命令如下：

$SPARK_HOME/bin/spark-submit --master spark://remote-cluster-host:7077 /path/to/your/local/pi.py

这里要注意：你提交的是本地笔记本上的脚本（比如pi.py），spark-submit会自动把脚本上传到集群节点执行，不用提前把脚本拷贝到远程主机。

针对YARN模式集群（生产环境常用） #

如果远程集群是YARN管理的，需要额外做两步配置：

1. 把远程集群的yarn-site.xml和core-site.xml这两个配置文件，复制到本地Spark的conf目录下，让本地Spark客户端能和远程YARN集群通信。
2. 执行提交命令时，指定YARN作为Master，并配置Hadoop环境变量：

HADOOP_CONF_DIR=/path/to/your/local/spark/conf $SPARK_HOME/bin/spark-submit --master yarn --deploy-mode client /path/to/your/local/pi.py

其中--deploy-mode client表示驱动程序在你的笔记本上运行，任务结果会直接返回到本地；如果用cluster模式，驱动程序会在集群节点上运行，你需要到集群日志里查看结果。

第三步：修改本地配置，永久指定远程Master #

如果不想每次提交都输入--master参数，可以修改本地Spark配置实现默认提交到远程集群：

1. 进入本地Spark的conf目录，若没有spark-defaults.conf文件，就复制spark-defaults.conf.template并重命名为spark-defaults.conf。
2. 根据集群模式添加配置：
   • Standalone模式：

     spark.master spark://remote-cluster-host:7077
     

   • YARN模式：

     spark.master yarn
     

   同样别忘了提前把YARN的配置文件放到本地Spark的conf目录，并设置好HADOOP_CONF_DIR环境变量。

之后你直接执行$SPARK_HOME/bin/spark-submit /path/to/your/local/pi.py，任务就会自动提交到远程集群了。

额外注意事项 #

• 确保你的笔记本能ping通远程集群的Master节点，且集群的对应端口（Standalone的7077、YARN的8088/8032等）没有被防火墙拦截。
• 如果远程集群开启了Kerberos认证，还需要在本地配置krb5.conf并获取认证票据，不过大部分测试集群不会开启这个，按需处理即可。

内容的提问来源于stack exchange，提问作者Michael