咨询:Databricks中作业调度时间变更历史的存储位置
Databricks作业调度时间变更历史查询位置
如果你在Overwatch的overwatch.job表中没找到作业调度时间的变更历史,可以尝试以下几个查询位置:
审计日志(Audit Logs)
这是记录所有作业配置变更的核心数据源,包括调度时间的修改操作。你可以通过以下方式查询:- 如果启用了Unity Catalog,直接在Databricks SQL中查询
system.access.audit表,筛选serviceName = 'jobs'且actionName包含update或modify的记录,结果里会包含变更前后的调度配置详情。 - 如果审计日志存储在外部存储(如S3、ADLS),可以直接读取对应路径下的日志文件,或者将日志数据注册为表后进行查询。
- 如果启用了Unity Catalog,直接在Databricks SQL中查询
Jobs API 变更历史接口
通过调用Databricks Jobs API的get-history端点,指定目标作业ID,就能获取该作业的完整变更历史,其中包含调度时间修改的记录。示例代码如下:import requests import json databricks_host = "https://<你的工作区URL>" token = dbutils.secrets.get("<密钥范围>", "<令牌密钥>") job_id = <目标作业ID> url = f"{databricks_host}/api/2.1/jobs/get-history?job_id={job_id}" headers = {"Authorization": f"Bearer {token}"} response = requests.get(url, headers=headers) history_data = json.loads(response.text) print(history_data)Delta Live Tables(DLT)事件日志(针对DLT作业)
如果是DLT管道的调度变更,除了审计日志,还可以查看DLT管道配置的存储路径下的system/events目录,该目录下的Delta表会记录管道调度配置的所有修改事件。
注:Overwatch的
overwatch.job表主要聚焦作业的基础信息和运行统计,不会保留细粒度的配置变更历史,因此调度时间修改记录通常不会出现在这里。
内容的提问来源于stack exchange,提问作者user3661384
相关产品推荐
相关产品推荐

