PySpark执行.show()/.count()等操作时触发Py4JJavaError报错求助

针对连接数据库获取DataFrame后，执行.show()、.count()或保存CSV时触发Python worker exited unexpectedly (crashed)错误的情况，可按以下方向排查解决：

1. 调整Python Worker内存限制 #

Spark的Python Worker默认内存配额不足时，处理大数据集易引发崩溃。构建SparkSession时可针对性调大内存配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("YourAppName") \
    .config("spark.python.worker.memory", "4g")  # 按机器实际内存调整，如2g/8g
    .config("spark.driver.memory", "8g")  # 驱动端内存同步按需扩容
    .getOrCreate()

2. 验证Python版本兼容性 #

确保Python版本与Spark版本匹配：

• Spark 3.x 推荐搭配Python 3.7-3.10（不同小版本有细微差异，以对应Spark官方说明为准）
• 避免使用Python 3.11+，部分Spark版本对其支持不完善
• 确认Spark环境使用的Python解释器与本地运行环境一致，可通过spark.conf.get("spark.pyspark.python")查看

3. 排查依赖冲突问题 #

• 若代码引入第三方库（如pandas、numpy），需保证驱动端与所有Worker节点的库版本完全一致
• 不要手动升级/降级py4j，Spark自带适配版本的py4j，手动调整易引发冲突

4. 关闭Python Worker垃圾回收优化 #

部分场景下，Spark的GC优化会导致Worker异常退出，可尝试关闭该配置：

spark = SparkSession.builder \
    .appName("YourAppName") \
    .config("spark.python.garbageCollect", "false")
    .getOrCreate()

5. 获取更详细的崩溃日志 #

默认日志仅显示栈顶信息，可通过以下方式定位具体原因：

• 查看$SPARK_HOME/logs目录下含worker关键字的日志文件，获取Worker崩溃的完整报错
• 在代码中调整日志级别，输出调试细节：

spark.sparkContext.setLogLevel("DEBUG")

6. 检查数据是否存在异常 #

• 数据库返回的数据可能存在格式问题（如超大字段、特殊字符），先尝试取小量数据测试（如.limit(10).show()）
• 若小数据量运行正常，说明是大数据量下的资源瓶颈，回到内存调整方案优化

内容的提问来源于stack exchange，提问作者Siva Indukuri