Spark 3.0中无法设置spark.driver.maxResultSize问题求助

最可能的原因：SparkSession被复用，新配置未生效 #

当调用getOrCreate()时，如果当前JVM中已经存在一个SparkSession实例，Spark会直接复用这个已有会话，你在builder中添加的spark.driver.maxResultSize=0配置不会覆盖已有会话的参数。这是这类问题最常见的诱因。

其他可能的原因 #

• 任务提交时通过--conf参数指定了spark.driver.maxResultSize=1g，代码中的配置优先级低于提交命令的参数
• 集群的spark-defaults.conf文件中预先配置了该参数，且集群限制了代码级别的配置覆盖（通常代码配置优先级更高，但部分集群可能做了特殊设置）

验证与解决步骤 #

1. 重启SparkSession确保配置生效
   在创建新会话前主动关闭已有实例，避免复用：

   from pyspark.sql import SparkSession
   
   # 关闭已有会话（如果存在）
   try:
       spark.stop()
   except:
       pass
   
   # 重新创建会话
   spark = (
           SparkSession
           .builder
           .appName('test')
           .enableHiveSupport()
           .config("spark.sql.execution.arrow.pyspark.enabled", "true")
           .config("spark.driver.maxResultSize","0")
           .getOrCreate()
       )
   

   随后可以通过以下代码验证配置是否生效：

   print(spark.conf.get("spark.driver.maxResultSize"))
   

   若输出为0，则配置已成功应用。

2. 替代方案：直接设置具体的大值
   部分旧版Spark中，0可能不会被识别为“无限制”，而是 fallback 到默认的1GB。这种情况下，可以直接设置一个足够大的数值，比如：

   .config("spark.driver.maxResultSize","4g")
   

3. 排查集群级配置
   如果上述方法无效，联系集群管理员确认spark.driver.maxResultSize是否被设置为不可通过代码修改的参数，或是否有更高优先级的配置覆盖了你的设置。

内容的提问来源于stack exchange，提问作者Ayan Biswas