PySpark脚本个人电脑可运行，办公电脑报错排查求助

你的错误核心是Spark启动Python worker进程后，无法和Driver建立连接（超时），虽然办公电脑配置更好，但企业环境的限制、资源配置冲突或依赖问题都可能导致这个情况，不用急着切换系统，试试下面这些针对性的方案：

1. 优先替换UDF为PySpark内置函数（最有效） #

你自己写的haversine UDF需要启动Python worker进程执行，这正是问题的触发点。PySpark从2.3版本开始内置了haversine函数，完全可以替代自定义UDF，而且是Java实现，不需要依赖Python worker，直接避免这个连接问题：

# 替换你的自定义UDF代码
bb_df = df.select('idfa', F.haversine(df.latitude, df.longitude, F.lit(lat), F.lit(lon)).alias('distance'))

这个改动不仅能解决当前错误，还会提升计算性能。

2. 排查办公电脑的安全软件/防火墙 #

企业办公电脑通常会有严格的防火墙或杀毒软件，可能拦截了Spark本地进程之间的通信（Spark worker和Driver通过本地端口通信）。可以临时关闭防火墙测试，或者把以下路径加入安全软件白名单：

• 你的Python解释器路径：C:\Users\admin\AppData\Local\Programs\Python\Python37\python.exe
• Spark的安装目录下的bin文件夹

3. 调整Spark配置参数，优化Python worker连接 #

在你的SparkConf中添加以下参数，延长超时时间并关闭worker复用（避免进程复用导致的连接问题）：

conf = SparkConf().setAll([
    ('spark.executor.memory', '5g'), 
    ('spark.executor.cores', '2'), 
    ('spark.cores.max', '2'), 
    ('spark.driver.memory','10g'), 
    ('spark.driver.maxResultSize', '5g'),
    # 添加以下参数
    ('spark.python.worker.connectionTimeout', '60s'),  # 延长连接超时
    ('spark.python.worker.reuse', 'false'),  # 关闭worker进程复用
    ('spark.pyspark.python', 'C:/Users/admin/AppData/Local/Programs/Python/Python37/python.exe')  # 明确指定Python路径
]).setAppName('test').setMaster('local[4]')

明确指定Python路径可以避免Spark误选其他版本的Python（办公电脑可能有多个Python环境）。

4. 降低资源配置测试 #

虽然办公电脑配置更好，但local模式下如果资源分配过高，可能导致系统资源竞争，反而让Python worker无法正常启动。可以临时降低配置试试：

• 把spark.executor.memory改成2g
• spark.driver.memory改成4g
• local[4]改成local[2]

5. 检查依赖与版本兼容性 #

• 确认你的haversine函数依赖的所有库（如果有第三方库）在办公电脑的Python环境中已经安装
• 对比个人电脑和办公电脑的Spark版本，确保Spark版本和Python3.7兼容（Spark 2.4.x及以上支持Python3.7）

这些方案应该能帮你定位并解决问题，不用急着切换到Ubuntu。

内容的提问来源于stack exchange，提问作者siddharth shinde