PySpark执行df.show()报Python worker failed to connect back错误如何解决

• 网络配置异常：Spark Driver与Python Worker需要通过本地网络完成通信，常见问题包括hosts文件未配置127.0.0.1到localhost的映射、本地防火墙/VPN拦截了Spark的本地端口通信、Driver监听地址配置错误，导致Worker无法回连Driver进程。
• 环境不兼容：安装的PySpark版本和当前运行代码的Python版本不匹配，或者未正确配置PYSPARK_PYTHON、PYSPARK_DRIVER_PYTHON环境变量，导致Spark调用的Python解释器和代码运行的解释器不一致，Worker进程启动失败。
• 资源不足：Spark Driver/Executor分配的内存配额过小，数据量较大时进程启动超时，引发连接失败。

• 调整本地网络配置
  检查本地hosts文件（Windows路径为C:\Windows\System32\drivers\etc\hosts，Mac/Linux路径为/etc/hosts），确保存在127.0.0.1 localhost的映射规则，缺失则手动添加后保存；临时关闭本地防火墙、VPN后再运行代码验证。
• 统一版本与环境变量配置
  先确认版本匹配：运行python --version查看当前Python版本，运行pip show pyspark查看已安装PySpark版本，确认二者兼容（例如PySpark 3.3支持Python 3.7~3.10，PySpark 3.4支持Python 3.7~3.11），版本不匹配时卸载重装对应版本的PySpark即可。
  显式指定Python解释器路径，避免Spark调用到错误的解释器，示例代码如下：

  import os
  # 以下路径替换为你本地Python解释器的实际路径，可执行which python（Mac/Linux）、where python（Windows）查看
  os.environ['PYSPARK_PYTHON'] = "/usr/bin/python3"
  os.environ['PYSPARK_DRIVER_PYTHON'] = "/usr/bin/python3"
  

• 调整Spark启动配置
  初始化SparkSession时显式指定Driver监听地址、资源配额，避免默认配置异常：

  from pyspark.sql import SparkSession
  spark = SparkSession.builder \
      .config("spark.driver.host", "127.0.0.1") \
      .config("spark.driver.bindAddress", "127.0.0.1") \
      .config("spark.driver.memory", "2g") \
      .config("spark.executor.memory", "2g") \
      .getOrCreate()
  

• 优化读取逻辑（可选）
  如果处理的Excel数据量不大，可以直接使用pyspark-excel插件直接读取文件，跳过pandas转Spark DataFrame的中间环节，降低通信开销：

  # 安装依赖
  !pip install pyspark-excel
  # 直接读取Excel指定工作表
  df = spark.read.format("com.crealytics.spark.excel") \
      .option("header", "true") \
      .option("inferSchema", "true") \
      .option("dataAddress", "'Input (I)'!A1") \
      .load("xxxx.xlsx")
  df.show()
  

内容的提问来源于stack exchange，提问作者alfonsomore