如何在Databricks上监控同一集群/SparkContext下的不同Spark作业

方案1：Spark运行时配置注入+Datadog标签采集 #

• 首先在每个作业Notebook的开头，通过Databricks内置上下文获取当前作业的Job/Run ID，注入为Spark的自定义运行时配置：

# 获取Databricks原生Job/Run ID
job_id = dbutils.notebook.entry_point.getDbutils().notebook().getContext().jobId().get()
run_id = dbutils.notebook.entry_point.getDbutils().notebook().getContext().runId().get()
# 注入为Spark自定义配置，前缀可自定义
spark.conf.set("spark.databricks.job.id", job_id)
spark.conf.set("spark.databricks.run.id", run_id)

• 调整Datadog Agent的Spark集成配置，新增规则采集上述自定义Spark配置作为指标标签，配置项参考：

spark_integration:
  spark_conf_tags:
    - "spark.databricks.job.id"
    - "spark.databricks.run.id"

• 该方案的优势是作业之间配置隔离，不会出现并发场景下的标签冲突，无需修改集群级配置。

方案2：日志埋点+标签自动关联 #

• 在作业执行的首尾埋点结构化日志，输出Job/Run ID、业务标识等自定义字段：

import logging
logging.info(f"databricks_job_meta: job_id={job_id}, run_id={run_id}, task_type=data_extract")

• 在Datadog控制台的日志管道配置Grok解析规则，将日志中的上述字段提取为全局标签，Datadog会自动将同时间段、同集群下的Spark指标与对应日志标签关联，实现按Job/Run ID过滤指标。

方案3：元数据侧拉取关联 #

• 编写定时脚本，调用Databricks REST API的Jobs/runs/list接口拉取指定集群下的历史/活跃作业Run记录，获取每个Run的ID、启动时间、结束时间等元数据。
• 调用Datadog Tags API，将上述元数据作为自定义标签批量附加到对应时间窗口的集群Spark指标上，无需修改作业代码。

• 运行时修改SparkSession.builder.appName无效是因为Databricks集群的SparkSession在集群启动阶段就完成初始化，运行态不支持修改根配置，而spark.conf.set注入的是会话级动态配置，不同作业的配置完全隔离，不会出现集群级标签的并发冲突问题。

内容的提问来源于stack exchange，提问作者Murilo Mendonça