如何在Windows系统上运行Spark Connect服务器？

问题梳理 #

• 官方文档指定的sbin/start-connect-server.sh启动脚本仅支持Linux/macOS，Windows下无对应bat/cmd文件，第三方工具spark-sbin-windows已过时
• 参考Spark Standalone部署文档，官方明确启动脚本不支持Windows，需手动启动服务
• 解析shell脚本后尝试用spark-class命令启动，报错找不到主类（但jar包中确实存在该类）
• 本地Spark环境正常，spark-submit、pyspark、spark-shell均可正常运行

正确启动命令 #

方式1：通过Maven坐标自动拉取依赖 #

直接用spark-submit指定主类和依赖包坐标，它会自动处理所有依赖：

spark-submit --class org.apache.spark.sql.connect.service.SparkConnectServer --packages org.apache.spark:spark-connect_2.12:3.5.4 --name "Spark Connect server"

方式2：使用本地已下载的jar包 #

如果已经从Maven仓库下载了spark-connect jar包，用--jars参数指定路径即可：

spark-submit --class org.apache.spark.sql.connect.service.SparkConnectServer --jars C:\Users\kash\.m2\repository\org\apache\spark\spark-connect_2.12\3.5.4\spark-connect_2.12-3.5.4.jar --name "Spark Connect server"

注意事项 #

• 不要添加原shell脚本中的1参数，这是spark-daemon.sh用于管理服务实例的编号，手动启动时无需传入
• 避免直接用spark-class命令，因为它需要手动配置完整的依赖类路径，而Spark Connect依赖多个Spark核心组件，手动配置极易遗漏依赖

内容的提问来源于stack exchange，提问作者Kashyap