Azure Databricks中如何基于列值动态传递静态值合并Notebook调度任务

核心逻辑为将13个Notebook对应的静态值统一维护到映射配置中，通过调度传参、列值匹配的方式动态调用对应值，无需维护多个调度任务。

步骤1：构建静态值映射表 #

在统一调度的Notebook中定义列值与对应静态值的映射关系，也可将映射规则存入Delta表做后续更灵活的配置更新：

# 列名与对应静态值映射，可扩展其他自定义配置
column_static_mapping = {
    "列1": {"static_value": "原第1个Notebook对应静态值", "extra_config": "配套配置1"},
    "列2": {"static_value": "原第2个Notebook对应静态值", "extra_config": "配套配置2"},
    # 依次补全剩余11个列的配置
    "列13": {"static_value": "原第13个Notebook对应静态值", "extra_config": "配套配置13"}
}

步骤2：配置调度参数并接收解析 #

在Databricks作业调度页面为该Notebook作业新增自定义参数，例如参数名设为target_column，每次调度时传入本次要执行的对应列名即可。
接收调度参数并匹配静态值的代码如下：

# 定义参数接收控件
dbutils.widgets.text("target_column", "")
# 获取调度传入的列名
target_col = dbutils.widgets.get("target_column")

# 合法性校验
if target_col not in column_static_mapping:
    raise ValueError(f"传入列名{target_col}不存在，请检查调度参数")

# 匹配得到对应静态值
current_static_val = column_static_mapping[target_col]["static_value"]

步骤3：复用原有业务逻辑 #

将原来13个Notebook中的通用业务逻辑抽离复用，直接代入获取到的current_static_val执行即可，无需修改原有核心计算逻辑。

如果需要单次调度批量执行全部13个列的任务，可直接遍历column_static_mapping的key，循环执行业务逻辑即可，无需多次触发调度。

可选优化点 #

• 静态值涉及敏感信息时，可将值存入Databricks Secrets，映射表仅保留secret对应key，运行时调用dbutils.secrets.get()获取值
• 后续新增列规则仅需在映射表中新增配置项，无需额外新增调度任务

内容的提问来源于stack exchange，提问作者siddhesh