如何用dbutils.notebook.run()运行Databricks Notebook除最后单元外的所有单元？

直接使用dbutils.notebook.run()无法实现仅运行被调用Notebook的前N-1个单元——这个API是将整个Notebook作为独立作业执行，没有提供按单元粒度控制执行的参数。不过可以通过以下两种方案达成需求：

方案一：通过参数控制被调用Notebook的最后一个单元是否执行 #

这是最简便且推荐的方式，无需额外依赖，只需修改被调用的Notebook：

1. 在被调用Notebook的第一个单元添加参数定义：

# 定义控制参数，默认运行最后一个单元
dbutils.widgets.dropdown("run_last_cell", "True", ["True", "False"], "是否运行最后一个单元")
run_last_cell = dbutils.widgets.get("run_last_cell") == "True"

2. 在被调用Notebook的最后一个单元开头添加判断逻辑：

if not run_last_cell:
    dbutils.notebook.exit("跳过最后一个单元")
# 以下是原最后一个单元的代码
...

3. 在调用方Notebook中，传入参数跳过最后一个单元：

dbutils.notebook.run(
    notebook_path="/path/to/your/notebook",
    timeout_seconds=300,
    arguments={"run_last_cell": "False"}
)

方案二：通过Databricks REST API提取并执行指定单元 #

如果无法修改被调用的Notebook，可以通过REST API获取Notebook内容，解析后仅执行前N-1个单元：

1. 获取Notebook的JSON内容（需要提前配置Databricks认证token）：

import requests
import json

databricks_host = "https://your-databricks-instance.cloud.databricks.com"
token = "your-personal-access-token"
notebook_path = "/path/to/your/notebook"

# 调用Workspace API获取Notebook内容
response = requests.get(
    f"{databricks_host}/api/2.0/workspace/get",
    headers={"Authorization": f"Bearer {token}"},
    params={"path": notebook_path, "format": "JUPYTER"}
)
notebook_content = response.json()

# 提取前N-1个单元（排除最后一个）
cells = notebook_content["cells"][:-1]

2. 遍历执行每个单元的代码：

for cell in cells:
    # 仅执行代码单元（跳过markdown等非代码单元）
    if cell["cell_type"] == "code":
        code = "".join(cell["source"])
        exec(code)

注意：这种方式需要确保当前Notebook的环境与被调用Notebook一致（比如依赖库、挂载点等），且执行过程中没有跨Notebook的状态依赖。

内容的提问来源于stack exchange，提问作者jerryrard