运行时动态获取Databricks Job ID/Run ID失败求助

我尝试通过以下代码动态获取Databricks作业的Job ID和Run ID并将其存入表中：

run_id = self.spark.conf.get("spark.databricks.job.runId", "no_run_id")
job_id = self.spark.conf.get("spark.databricks.job.id", "unknown_job_id")
logger.debug(f"run_id {run_id}, job_id {job_id}")

但无法获取到有效的Run ID和Job ID。我并非在Notebook中运行代码，而是在VSCode编写后托管至GitHub。

原因分析 #

spark.databricks.job.runId和spark.databricks.job.id这两个配置项仅在Databricks Job集群（或通过Job启动的交互式集群）中才会自动注入。如果代码是通过非Job触发的方式运行（比如本地调试、手动启动的集群），这些配置项不会存在，自然获取不到有效值。

可行解决方法 #

1. 读取环境变量
   Databricks Job会自动注入专属环境变量，直接读取即可：

import os
run_id = os.environ.get("DATABRICKS_RUN_ID", "no_run_id")
job_id = os.environ.get("DATABRICKS_JOB_ID", "unknown_job_id")
logger.debug(f"run_id {run_id}, job_id {job_id}")

注：本地调试时需手动模拟设置这些环境变量，否则会拿到默认占位符。

2. 通过Databricks API反向查询
   如果运行环境能访问Databricks API，可通过集群ID关联Job和Run信息：

• 先获取当前集群ID：spark.conf.get("spark.databricks.clusterUsageTags.clusterId")
• 调用jobs/runs/list API，过滤出使用该集群的运行记录，提取对应的Job ID和Run ID
  这种方式需要配置API令牌，适合复杂场景。

3. 手动传入参数
   在Job定义的任务配置中手动传入参数：

• 方式一：在Spark配置里添加--conf spark.databricks.job.id=<你的Job ID>，代码仍用原方式读取
• 方式二：在任务参数中传递job_id和run_id，代码通过sys.argv读取

注意事项 #

• 只有代码运行在Databricks Job触发的集群中，自动注入的变量/配置才会生效
• 本地调试时，建议手动设置测试值，避免影响逻辑验证

内容的提问来源于stack exchange，提问作者Panda