运行Databricks Connect时调用collectToPython出现StackOverflowError问题

核心根因 #

当前配置中spark.master被设置为local[*]，会强制所有计算运行在本地Spark实例而非Databricks远程集群，和Databricks Connect的调度逻辑冲突，最终触发栈溢出报错。

修复步骤 #

• 移除本地自定义的master配置
  检查你初始化SparkSession的代码，删除显式指定.master("local[*]")的配置项，Databricks Connect会自动将任务调度到绑定的远程集群运行，无需手动设置master地址。
• 重置Databricks Connect配置
  1. 停用当前conda环境，关闭所有关联的Python进程
  2. 删除本地用户目录下的.databricks-connect配置文件，重新执行databricks-connect configure，按提示重新绑定目标集群的认证信息
  3. 重新激活conda环境，运行测试代码验证问题是否解决
• 调整驱动JVM栈大小（可选，前两步无效时使用）
  初始化SparkSession时增加JVM栈空间配置：

  from pyspark.sql import SparkSession
  spark = SparkSession.builder \
      .config("spark.driver.extraJavaOptions", "-Xss4m") \
      .getOrCreate()
  

• 临时兼容验证写法
  可以先将小批量数据拉到本地再计算，确认逻辑无问题：

  import pyspark.sql.functions as F
  filtered_feat = df.filter(df['target'] == 1).select('feat').toPandas()
  feat_min = filtered_feat['feat'].min()
  

配置生效验证 #

修复完成后执行print(spark.conf.get("spark.master"))，返回值为databricks相关标识而非local[*]，代表调度逻辑已恢复正常。

内容的提问来源于stack exchange，提问作者Mircea Stoica