PySpark调试创建SparkSession触发JavaArray IndexError问题求解

该异常是PySpark 2.4.4版本的底层实现缺陷与Python调试器的属性自动采集逻辑冲突导致：

• 调试器（pdb、PyCharm内置调试器等）在单步执行/触发断点时，会自动采集当前上下文所有对象的属性值用于调试面板展示，在SparkSession.builder的初始化过程中，调试器会提前访问未完全初始化的内部Java对象。
• PySpark 2.4.4的java_collections.py中JavaArray类的__compute_index方法做空数组边界校验逻辑存在漏洞，当调试器访问还未填充数据的空Java数组索引时，就会抛出IndexError("list index out of range")。
• 直接运行代码时没有调试器的提前属性采集动作，SparkSession初始化流程可以正常走完，因此不会触发异常。手动在调试控制台执行getOrCreate时，初始化流程不会被调试器的属性采集打断，Java数组会先完成初始化再对外暴露访问，因此也不会报错。

无需手动执行的修复方案如下：

• 方案1：升级PySpark版本到3.0及以上，官方已经在3.x版本中修复了JavaArray的边界校验逻辑，彻底解决该冲突问题。
• 方案2：关闭调试器的自动属性采集功能。如果使用PyCharm，可进入设置 > 构建、执行、部署 > Python调试器，关闭运行时获取变量的值/Enable runtime value loading选项，避免调试器提前访问未初始化的内部对象。
• 方案3：调整代码结构，将SparkSession初始化逻辑放在脚本最开头执行，确保初始化完成后再设置调试断点，避免调试过程中触发初始化阶段被调试器采集属性。
• 方案4：如果必须保留当前版本和调试配置，可在初始化SparkSession的代码段临时禁用调试器的变量追踪，示例代码如下：

# 临时关闭调试器变量采集（适用于pdb调试器）
import sys
if hasattr(sys, 'gettrace') and sys.gettrace() is not None:
    sys.settrace(None)

# 初始化SparkSession
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local").appName("test").getOrCreate()

# 恢复调试器追踪
if hasattr(sys, 'gettrace') and sys.gettrace() is None:
    # 恢复原有调试逻辑，pdb可直接调用sys.settrace(pdb.Pdb().trace_dispatch
    pass

内容的提问来源于stack exchange，提问作者Tomasz Bartkowiak