安装databricks-connect 13.0.0后出现spark-class2.cmd未找到错误

问题根源 #

Databricks Connect 13.0.0（对应Spark 3.3.x版本）在Windows环境的pyspark包中，脚本路径或命名逻辑存在兼容性问题，导致虚拟环境下无法找到spark-class2.cmd；而11.3.10版本（对应Spark 3.2.x）的脚本结构更适配Windows虚拟环境路径，因此运行正常。

修复方案 #

方案1：手动创建缺失的脚本文件 #

• 找到pyspark的bin目录：C:\Users\Y\AppData\Local\pypoetry\Cache\virtualenvs\X-py3.9\Lib\site-packages\pyspark\bin
• 复制同目录下的spark-class.cmd文件，重命名为spark-class2.cmd
• 打开新创建的spark-class2.cmd，将文件内所有spark-class.cmd替换为spark-class2.cmd，确保脚本调用路径正确

方案2：修改pyspark网关启动逻辑 #

• 定位到pyspark的java网关启动文件：C:\Users\Y\AppData\Local\pypoetry\Cache\virtualenvs\X-py3.9\Lib\site-packages\pyspark\java_gateway.py
• 在_launch_gateway函数中找到调用spark-class2.cmd的代码行
• 将spark-class2.cmd替换为spark-class.cmd，保存文件后重新运行代码

方案3：配置SPARK_HOME环境变量 #

• 在Windows系统中添加环境变量SPARK_HOME，值设为pyspark的安装目录：C:\Users\Y\AppData\Local\pypoetry\Cache\virtualenvs\X-py3.9\Lib\site-packages\pyspark
• 重启命令行或IDE，确保环境变量生效后重新执行代码

验证 #

执行你的Databricks Connect代码，检查是否仍出现spark-class2.cmd未找到的提示，确认RuntimeError: Java gateway process exited before sending its port number错误是否消失。

内容的提问来源于stack exchange，提问作者Lazloo Xp