如何在Databricks的Notebook间传递带占位符的字符串？

错误根源 #

你写的spark.sql(f"qry")是把字符串"qry"直接作为SQL语句提交给Spark，而非解析变量qry里的格式化模板，这才导致语法错误。另外需要先完成模板参数的填充，再执行SQL。

方案一：模板变量+参数格式化（基础版） #

1. Notebook1 仅定义SQL模板

# 只声明带占位符的模板字符串
qry = "SELECT {id} FROM {stage_table}"

2. Notebook2 导入模板并填充参数执行

# 导入Notebook1中的变量
%run ./Notebook1

# 定义要传入的参数
query_params = {"id": "user_id", "stage_table": "raw_user_data"}
# 填充模板生成合法SQL语句
formatted_sql = qry.format(**query_params)
# 执行查询
result_df = spark.sql(formatted_sql)
result_df.display()

方案二：封装成函数（更规范易维护） #

1. Notebook1 定义生成SQL的函数

def generate_query(id_column, target_table):
    # 直接在函数内完成参数拼接
    return f"SELECT {id_column} FROM {target_table}"

2. Notebook2 调用函数生成SQL并执行

# 导入Notebook1中的函数
%run ./Notebook1

# 调用函数生成SQL
final_sql = generate_query(id_column="order_id", target_table="stage_order_data")
# 执行查询
result_df = spark.sql(final_sql)
result_df.display()

重要注意事项 #

• SQL注入风险：如果参数是外部输入的动态值，不要直接用字符串格式化处理表名/列名这类标识符，建议确保参数来源可信；若处理的是数据值，优先用Spark参数化查询（如spark.sql("SELECT * FROM stage_table WHERE id = ?", args=(123,))）。
• 路径正确性：%run后的路径要和Notebook1的实际位置匹配，同目录用./Notebook1，上层目录用../Notebook1。

内容的提问来源于stack exchange，提问作者Tharun