Spark Session配置是否会覆盖Airflow DAG中设置的spark_conf？

• Spark Session中显式配置的maxResultSize会覆盖Airflow DAG的spark_conf里的对应参数。
• 这是因为Spark的配置优先级规则为：代码中通过SparkSession.builder设置的参数 > 任务提交阶段的配置（如Airflow的spark_conf） > Spark默认配置。
• 针对你遇到的GC内存错误，建议统一maxResultSize的配置入口：要么仅在Airflow的spark_conf中设置，要么仅在Spark Session代码中配置，避免参数冲突。此外，GC问题也可能和executor/driver内存不足、数据倾斜等因素相关，可同步排查这些点。

内容的提问来源于stack exchange，提问作者Prof. Falken