Databricks中如何将R Notebook执行结果返回给Python任务

dbutils.notebook.run() 会启动完全隔离的独立会话运行被调用Notebook，两个Notebook的变量、函数、运行上下文不互通，默认不会同步任何A中定义的对象到B，必须通过官方预留的跨会话通道传递结果，根据你的数据体量选对应方案即可。

方案1：通过notebook exit返回值传递（适合小于100MB的小体量聚合结果） #

• 第一步修改Notebook A（R端）代码，在执行逻辑末尾显式调用返回接口输出结果：

# 原有聚合逻辑保留
function_to_aggregate_data = function(x,y){
  # 你的实际聚合代码
}
aggregated_data = function_to_aggregate_data(x,y)

# 新增：调用exit接口返回结果，数据框等结构化对象会自动做JSON序列化兼容
dbutils.notebook.exit(aggregated_data)

• 第二步修改Notebook B（Python端）代码，接收run方法的返回值并解析：

%python
import json
import pandas as pd

# dbutils.notebook.run的返回值就是A中exit传入的内容，跨语言场景下为JSON格式字符串
result_str = dbutils.notebook.run("path/to/notebook_A", 60)
# 解析为Python可直接使用的结构，转DataFrame或者字典都可以
aggregated_data = pd.DataFrame(json.loads(result_str))
# 后续直接使用aggregated_data即可

注意：exit传值有100MB大小上限，超出会直接抛错，数据量较大时不要用这个方案。

方案2：通过全局临时表传递（适合大体量数据，无大小限制） #

如果聚合结果数据量较大，走exit传值会触发上限，用全局临时表跨会话、跨语言传递最稳定：

• 第一步修改Notebook A（R端）代码，计算完成后把结果注册为全局临时视图：

library(SparkR)
# 原有聚合逻辑保留
function_to_aggregate_data = function(x,y){
  # 你的实际聚合代码
}
aggregated_data = function_to_aggregate_data(x,y)

# 如果aggregated_data是本地R数据框，先转成Spark DataFrame
# agg_spark_df <- as.DataFrame(aggregated_data)
# 注册全局临时视图，视图挂载在global_temp库下，作业生命周期内所有关联Notebook都可访问
createOrReplaceGlobalTempView(aggregated_data, "notebook_a_agg_result")

# exit只需要返回简单运行状态即可
dbutils.notebook.exit("success")

• 第二步修改Notebook B（Python端）代码，等A运行成功后直接读取临时表：

%python
run_status = dbutils.notebook.run("path/to/notebook_A", 60)
if run_status != "success":
    raise RuntimeError("Notebook A运行失败，未生成聚合数据")

# 直接通过Spark SQL读取全局临时表，拿到的是Spark DataFrame，可按需转pandas
aggregated_df = spark.sql("SELECT * FROM global_temp.notebook_a_agg_result")
# 后续直接使用aggregated_df即可

补充提示：不要尝试跨Notebook传递自定义函数，两个会话的执行环境完全隔离，函数定义不会同步。如果需要复用function_to_aggregate_data的逻辑，要么把函数抽成独立R脚本挂到集群路径，通过source()在需要的Notebook里加载，要么就像上面方案一样，直接在Notebook A里跑完逻辑传结果即可。

内容的提问来源于stack exchange，提问作者Sanchez333