如何在Databricks中批量运行Notebook列表?
批量执行Databricks Notebook的%run方案
你之前的循环写法失效,是因为%run作为IPython魔法命令,是在代码解析阶段处理的,不会在运行时替换变量notebook,导致它把字符串"notebook"当成了Notebook路径,自然找不到文件。
不用硬编码逐个写,有个简单直接的办法,利用IPython内核的API动态执行魔法命令:
my_notebooks = ["./setup", "./do_the_main_thing", "./check_results"] for notebook in my_notebooks: get_ipython().run_line_magic("run", notebook)
这个方法和手动写%run ./setup这类命令的效果完全一致:所有Notebook都在当前主Notebook的上下文里执行,变量、函数、查询结果都能直接访问,不会像dbutils.notebook.run()那样创建独立作业。
原理很简单:get_ipython()获取当前的IPython内核实例,run_line_magic方法可以动态调用指定的魔法命令——第一个参数是魔法命令名(这里是"run"),第二个参数是命令的参数(也就是Notebook的路径),完美解决动态批量执行的需求。
如果想让代码更清晰,也可以封装成一个小函数:
def run_notebook(nb_path): get_ipython().run_line_magic("run", nb_path) # 批量执行 for nb in ["./setup", "./do_the_main_thing", "./check_results"]: run_notebook(nb)
内容的提问来源于stack exchange,提问作者blake
相关产品推荐
相关产品推荐

