如何查看Spark未显式设置的配置参数默认值？

1. 通过Spark UI查看 #

Spark UI的Environment标签页会列出所有生效的配置参数，包括默认值。在Databricks里，可从集群详情页直接进入Spark UI；Dataproc则通过集群的Web UI入口访问Spark UI，找到Environment部分就能看到spark.executor.cores、spark.executor.instances这类参数的实际生效值。

2. 使用Spark SQL内置函数 #

在Spark SQL中执行以下命令，可查询所有配置参数（含默认值）：

SET -v;

执行后会返回完整配置列表，你可以搜索目标参数关键词快速定位。

3. 查看集群管理平台的默认配置 #

• Databricks：集群创建页面的「Spark config」区域下方，会显示该集群类型的默认配置模板；也可通过Databricks CLI或API获取集群完整配置详情，其中包含默认生效的参数值。
• Dataproc：Google Cloud控制台的Dataproc集群详情页，在「Configuration」部分能看到集群的默认执行器配置，包括核心数、实例数等参数。

4. 参考Spark官方文档的默认值表 #

Spark官方文档有完整的配置参数默认值对照表，不同Spark版本的默认值可能有差异，你可以根据使用的Spark版本，找到对应参数的默认定义。比如spark.executor.cores在YARN模式下的默认值通常为1，spark.executor.instances默认值为2（具体以对应版本文档为准）。

内容的提问来源于stack exchange，提问作者Matthew