如何在Databricks中传递DataFrame作为笔记本参数并实现笔记本间DataFrame互传？

我来帮你理清这个问题——Databricks笔记本间传递PySpark DataFrame确实不能直接通过dbutils.notebook.run的参数传，而且dbutils.notebook.exit也只能返回字符串结果，这就是你当前遇到问题的核心根源。下面一步步给你拆解解决方案：

1. 为什么你的代码只返回第一个临时视图的Schema？ #

你写的循环里，dbutils.notebook.exit()会立即终止笔记本执行，所以循环第一次调用后就直接退出了，后面的tempView2和tempView3根本没机会处理。另外，spark.sql(f"Select * from {tempview}")返回的是DataFrame对象，直接放进exit()里会被自动转换成字符串，也就是它的Schema信息，而不是实际数据。

2. 父笔记本向子笔记本传递DataFrame的正确方式 #

因为dbutils.notebook.run只能传递字符串参数，所以我们需要通过临时视图/全局临时视图或者临时Delta表的方式共享DataFrame，再把视图名/表路径作为字符串参数传给子笔记本。

方法一：全局临时视图（跨会话共享） #

适合父、子笔记本不在同一会话的场景（比如独立的任务调用）：

父笔记本代码

# 假设你有三个DataFrame：df1、df2、df3
df1.createOrReplaceGlobalTempView("tempView1")
df2.createOrReplaceGlobalTempView("tempView2")
df3.createOrReplaceGlobalTempView("tempView3")

# 把视图名用逗号拼接成字符串，作为参数传给子笔记本
args = {"temp_view_list": ",".join(["tempView1", "tempView2", "tempView3"])}
dbutils.notebook.run("/path/to/your/sub-notebook", 300, args)

子笔记本代码

# 获取父笔记本传递的视图名字符串，分割成列表
temp_views = dbutils.widgets.get("temp_view_list").split(",")

# 遍历视图名，读取对应的DataFrame并执行任务
for view_name in temp_views:
    # 全局临时视图需要加global_temp.前缀
    df = spark.read.table(f"global_temp.{view_name}")
    # 调用你的处理函数
    your_processing_function(df)

全局临时视图会在整个集群会话中共享，直到集群重启或手动删除。

方法二：普通临时视图（同会话共享） #

如果父、子笔记本是在同一个交互式会话里运行（比如在同一个笔记本中调用子笔记本），可以用普通临时视图：

父笔记本代码

df1.createOrReplaceTempView("tempView1")
df2.createOrReplaceTempView("tempView2")
df3.createOrReplaceTempView("tempView3")

args = {"temp_view_list": ",".join(["tempView1", "tempView2", "tempView3"])}
dbutils.notebook.run("/path/to/your/sub-notebook", 300, args)

子笔记本代码

temp_views = dbutils.widgets.get("temp_view_list").split(",")
for view_name in temp_views:
    df = spark.sql(f"SELECT * FROM {view_name}")
    your_processing_function(df)

普通临时视图仅在当前会话有效，子笔记本必须和父笔记本同会话才能访问。

3. 子笔记本向父笔记本返回DataFrame的方法 #

同样因为dbutils.notebook.exit只能返回字符串，我们可以先把处理后的DataFrame注册成视图，再返回视图名给父笔记本：

子笔记本代码

# 处理数据得到结果DataFrame
processed_df = your_processing_function(df)
# 注册全局临时视图
processed_df.createOrReplaceGlobalTempView("processed_result")
# 返回视图名给父笔记本
dbutils.notebook.exit("processed_result")

父笔记本代码

# 调用子笔记本，获取返回的视图名
result_view_name = dbutils.notebook.run("/path/to/your/sub-notebook", 300, args)
# 读取视图得到最终DataFrame
result_df = spark.read.table(f"global_temp.{result_view_name}")

如果要返回多个DataFrame，可以返回用逗号分隔的视图名字符串（比如"result1,result2"），父笔记本分割后逐个读取即可。

4. 替代方案：临时Delta表（适合大数据量） #

如果你的DataFrame数据量较大，用Delta Lake临时表会更稳定：

父笔记本代码

# 写入临时Delta表
df1.write.format("delta").mode("overwrite").save("/tmp/temp_table1")
df2.write.format("delta").mode("overwrite").save("/tmp/temp_table2")

args = {"table_path_list": "/tmp/temp_table1,/tmp/temp_table2"}
dbutils.notebook.run("/path/to/your/sub-notebook", 300, args)

子笔记本代码

table_paths = dbutils.widgets.get("table_path_list").split(",")
for path in table_paths:
    df = spark.read.format("delta").load(path)
    your_processing_function(df)

# 用完后可以删除临时文件（可选）
for path in table_paths:
    dbutils.fs.rm(path, recurse=True)

内容的提问来源于stack exchange，提问作者user16714516