PySpark执行DataFrame.show()报错：Python worker意外退出求助

1. 检查Python版本兼容性 #

Spark 3.5.2官方支持的Python版本为3.8-3.11，你当前使用的Python 3.12.4不在官方支持范围内，这是导致Python Worker崩溃的核心原因。

• 解决方案：将Python降级至3.11.x版本，重新配置PySpark环境后测试。

2. 确认SPARK_PYTHON环境变量配置 #

Spark可能未调用你指定的Python解释器，需手动指定：

• 检查当前配置：Windows执行echo %SPARK_PYTHON%，Linux/macOS执行echo $SPARK_PYTHON，确认路径指向目标Python版本。
• 若未设置，手动配置：
  • Windows：set SPARK_PYTHON=C:\path\to\your\python.exe
  • Linux/macOS：export SPARK_PYTHON=/path/to/your/python

3. 验证PySpark依赖版本匹配 #

Spark 3.5.2对应的py4j版本为0.10.9.7，版本不匹配会引发兼容性问题：

• 检查当前py4j版本：pip show py4j
• 版本不符则重新安装：pip install py4j==0.10.9.7

4. 查看详细错误日志定位根源 #

Py4JJavaError的表层提示下包含具体错误信息，可通过以下方式获取：

• 查看Spark日志文件（默认路径SPARK_HOME/logs），找到Python Worker崩溃的完整堆栈信息。
• 在脚本中添加日志输出，捕获更详细的错误内容。

5. 排查脚本中的SparkSession初始化问题 #

若pyspark命令行正常但脚本出错，需确认SparkSession初始化是否正确：

• 使用标准初始化代码测试：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("TestDF") \
    .master("local[*]") \
    .getOrCreate()

df = spark.createDataFrame([(1, "test1"), (2, "test2")], ["id", "content"])
df.show()
spark.stop()

• 避免在脚本中引入与PySpark冲突的第三方库或修改Python环境变量。

内容的提问来源于stack exchange，提问作者Alfarezza