如何通过全局初始化脚本为Databricks工作区所有集群启用日志投递？

• 核心问题说明：你使用的spark.databricks.clusterUsageTags.clusterLogDeliveryEnabled和spark.databricks.clusterUsageTags.clusterLogDestination是只读的集群元数据属性，仅用于展示当前集群的日志投递状态，无法通过修改Spark配置文件来设置，所以直接修改/databricks/driver/conf/下的配置不会生效。

可行方案一：通过集群策略强制管控所有新建集群 #

集群策略是工作区级别配置，可以强制所有新建集群启用日志投递，具体操作：

1. 在Databricks控制台进入集群策略页面，创建或编辑全局策略
2. 在策略JSON中添加日志投递的强制规则：

   {
     "cluster_log_conf": {
       "dbfs": {
         "destination": "dbfs:/cluster-logs"
       }
     },
     "cluster_log_conf.dbfs.destination": {
       "type": "fixed",
       "value": "dbfs:/cluster-logs"
     }
   }
   

3. 应用该策略后，所有新建集群都会自动启用DBFS日志投递，且目标路径无法被用户修改。

可行方案二：结合API批量更新现有集群 #

对于已创建的集群，日志投递配置属于集群属性，无法通过初始化脚本在运行时修改，需通过Databricks API批量更新：

1. 调用/api/2.0/clusters/edit接口，传入集群ID和日志配置参数，示例请求体：

   {
     "cluster_id": "<目标集群ID>",
     "cluster_log_conf": {
       "dbfs": {
         "destination": "dbfs:/cluster-logs"
       }
     }
   }
   

2. 可以编写Python脚本遍历工作区所有集群（调用/api/2.0/clusters/list接口获取集群列表），批量执行上述更新操作。
3. 更新完成后，重启对应集群使配置生效。

注意事项 #

• 确保目标DBFS路径dbfs:/cluster-logs已存在，且集群服务账号拥有该路径的读写权限
• 集群策略仅对新建集群生效，现有集群必须通过API或手动修改配置
• 修改日志投递配置后，必须重启集群才能生效

内容的提问来源于stack exchange，提问作者gona