如何循环运行Databricks notebook（pySpark）且无需合并所有代码块？

完全不需要把所有处理逻辑合并到单个代码块，不同Notebook环境都有对应的原生/轻量实现方式：

1. Jupyter 生态（Jupyter Notebook/Lab） #

• 用%run魔法命令配合参数传递即可实现：把你现有包含分块处理逻辑的Notebook存为独立文件（比如weekly_process.ipynb），再新建一个单独的循环控制Notebook，写入以下代码即可循环执行整个处理流程：

from datetime import timedelta, datetime

start_date = datetime(2021,1,1)
end_date = datetime(2021,1,31)

while start_date <= end_date:
    # 向处理Notebook传递当前轮次的起始日期
    %store start_date
    # 运行整个处理Notebook的所有代码块
    %run ./weekly_process.ipynb
    # 更新下一轮的起始日期
    start_date += timedelta(days=8)

• 原有处理Notebook只需要在第一块加一行%store -r start_date就能拿到传入的日期参数，所有原有分块逻辑不需要做任何修改。
• 有更复杂的参数传递需求也可以用papermill库实现，只需要给原有代码块打参数标签，不需要重构代码结构。

2. R Markdown/Quarto 环境 #

• 用参数化报告功能即可实现，把起始日期设为报告参数，写控制脚本循环渲染整个Rmd/qmd文件即可：

library(lubridate)
start_date <- ymd("2021-01-01")
end_date <- ymd("2021-01-31")

while (start_date <= end_date) {
  rmarkdown::render("weekly_process.Rmd", 
                    params = list(start = start_date),
                    output_file = paste0("processing_result_", start_date, ".html"))
  start_date <- start_date + days(8)
}

• 原有Rmd文件只需要在YAML头部声明params: list(start = "2021-01-01")即可，原有分块逻辑不用做任何合并调整。

3. 通用轻量方案（无需拆分Notebook） #

如果不想拆分现有Notebook，只要在原有代码基础上加少量控制逻辑即可：

• 现有Notebook的第一个块加入循环控制变量：

from datetime import timedelta, datetime
start_date = datetime(2021,1,1)
end_date = datetime(2021,1,31)
current_run_date = start_date
run_complete = False

• 后续所有原有处理块的开头加一行if not run_complete:，最后一个处理块的末尾加：

current_run_date += timedelta(days=8)
if current_run_date > end_date:
    run_complete = True

• 直接点击「运行所有」就会自动循环执行所有块直到达到预设的结束日期，不需要合并任何原有分块代码。

注意：所有方案都建议每次处理完一周的数据后，单独存储带日期标识的结果文件，避免覆盖之前的运行结果，也方便后续排查单周的处理问题。

内容的提问来源于stack exchange，提问作者Alex Germain