你遇到的核心问题是：Databricks集群启动时，Spark会在节点初始化脚本执行前就读取/databricks/spark/conf/spark-defaults.conf，所以你在脚本里生成的这个文件不会被已启动的Spark进程加载。下面是两种可行的解决方案：

方案1：通过节点初始化脚本写入Driver/Executor专属配置目录 #

Databricks允许在/databricks/driver/conf和/databricks/executor/conf目录下添加自定义配置文件，这些文件会在Driver和Executor启动时被自动加载。你可以在初始化脚本中生成这些文件：

# 生成Driver端的自定义Spark配置
cat > /databricks/driver/conf/00-custom-spark.conf << EOF
spark.sql.shuffle.partitions 200
spark.driver.memory 12g
spark.sql.autoBroadcastJoinThreshold 104857600
# 添加你需要的其他配置项
EOF

# 生成Executor端的自定义Spark配置（可与Driver配置一致，也可单独设置）
cat > /databricks/executor/conf/00-custom-spark.conf << EOF
spark.sql.shuffle.partitions 200
spark.executor.memory 8g
spark.executor.cores 4
# 添加你需要的其他配置项
EOF

注意：

• 文件名前缀用00-是为了确保自定义配置优先于Databricks默认配置加载（按字母顺序读取）
• 配置格式与spark-defaults.conf一致，每行是spark.配置项 取值

方案2：通过CLI/API批量配置多集群 #

如果你的多个集群需要完全相同的配置，用初始化脚本重复配置反而繁琐，推荐用Databricks CLI或API批量修改集群的Spark配置：

用Databricks CLI批量更新（示例） #

1. 先获取所有集群ID：

databricks clusters list --output json | jq -r '.clusters[].cluster_id'

2. 循环更新每个集群的Spark配置：

CONFIG='{"spark.sql.shuffle.partitions":"200", "spark.executor.memory":"8g", "spark.driver.memory":"12g"}'

for cluster_id in $(databricks clusters list --output json | jq -r '.clusters[].cluster_id'); do
  databricks clusters edit --cluster-id $cluster_id --spark-conf "$CONFIG"
done

这种方式一次性完成所有集群的配置同步，无需依赖初始化脚本。

关键注意点 #

• 初始化脚本必须设置为集群级初始化脚本（在集群创建页面的"高级选项"-"初始化脚本"中添加，或通过API配置），不能是Notebook内的初始化代码
• 如果配置包含敏感信息，不要明文写入脚本，可通过Databricks Secrets API在脚本中动态获取（bash脚本可通过curl调用Secrets接口）

内容的提问来源于stack exchange，提问作者ggirodda