Spark 2.3.x环境下如何获取spark.executor.memory的配置值？

在Spark 2.3.2版本中，你用spark_session.sparkContext._conf.get('spark.executor.memory')返回None，是因为_conf是SparkContext的内部私有配置对象，部分集群侧或提交时指定的配置不会直接暴露在这里。以下是几种可靠的获取方式：

• 使用SparkSession的conf API（推荐）
  SparkSession提供了标准的配置获取接口，直接调用即可：

  spark_session.conf.get('spark.executor.memory')
  

• 通过Spark UI查看
  如果上述方法仍无法获取，可通过Spark UI查看真实生效的配置：

  1. 打开Spark UI（默认访问地址为http://<driver-ip>:4040）
  2. 切换到Environment标签页
  3. 在Spark Properties区域找到spark.executor.memory对应的取值

• 检查提交命令或配置文件
  若配置是通过提交任务时的--executor-memory参数指定，或是在spark-defaults.conf中配置的，也可以直接查看这些配置源来确认取值。

内容的提问来源于stack exchange，提问作者Sonnh