本地spark-submit提交至minikube中Spark集群报错及可行性咨询

1. 远程提交的可行性确认 #

本地主机向minikube内部的Spark集群提交任务是完全可行的，你遇到的报错并非远程提交本身不可行，而是Master URL的格式不符合Spark的规范。

2. 修正Master URL格式 #

Spark的Master URL必须带正确的协议前缀，你当前使用的spark.local:7077格式错误。针对Spark standalone模式，正确格式为spark://<Spark Master的可访问地址>:<端口>：

• 若Spark Master通过ClusterIP暴露，需先获取minikube的虚拟机IP（执行minikube ip获取），再结合Spark Master的端口（比如7077），组成类似spark://192.168.49.2:7077的URL
• 若使用NodePort暴露服务，需用minikube service list查看映射后的端口，替换成对应的NodePort（比如spark://192.168.49.2:30777）

3. 修正后的spark-submit命令示例 #

将正确的Master URL替换后，命令如下：

spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master spark://<minikube-spark-master-ip>:<对应端口> microsoft-spark-3-2_2.12-2.1.1.jar dotnet C:\projects\xxx\xxx-dotnet-solution\xx-services/infrastructure/etl-service/Spark/bin/Debug/netcoreapp3.1/xxx.xx.Services.Infraestructure.ETLService.Spark.dll

额外注意事项 #

• 确保本地Spark版本（3.2.1）与集群Spark版本完全一致，避免兼容性问题
• 确认主机能正常访问替换后的Spark Master地址和端口
• 本地dotnet程序集的路径需准确，Spark会自动将该文件上传至集群节点

内容的提问来源于stack exchange，提问作者Matías Fidemraizer