如何在Databricks Python Notebook中基于变量条件执行%sql命令

在Databricks的Python Notebook里，直接把%sql魔法命令嵌套进Python的if逻辑块是行不通的——魔法命令属于Notebook的单元格级指令，无法和Python代码直接嵌套执行。这里提供两种可行的解决方案：

方法1：使用spark.sql()执行SQL（推荐） #

通过Python代码控制条件，用spark.sql()方法执行SQL语句，还能灵活结合Python变量：

EXECUTE_SQL = True

if EXECUTE_SQL:
    # 定义SQL语句，可直接拼接Python变量
    sql_query = "SELECT * FROM your_target_table"
    # 执行SQL并返回DataFrame
    result_df = spark.sql(sql_query)
    # 显示查询结果
    display(result_df)

如果需要在SQL中动态传入Python变量，推荐用参数化查询避免SQL注入风险：

EXECUTE_SQL = True
target_region = "East"

if EXECUTE_SQL:
    # 用?作为占位符传入变量
    result_df = spark.sql("SELECT * FROM sales WHERE region = ?", target_region)
    display(result_df)

方法2：通过单元格条件控制%sql执行 #

如果一定要使用%sql魔法命令，可以将条件判断和魔法命令拆分到不同单元格，或者用Python变量控制整个单元格的执行：

1. 先在Python单元格定义变量：

EXECUTE_SQL = True

2. 在SQL单元格中用$引用Python变量，结合SQL的条件判断（仅当变量为真时执行有效逻辑）：

%sql
SELECT * FROM your_table
WHERE $EXECUTE_SQL = true

这种方式本质是通过SQL层面的条件过滤，实现仅当Python变量为真时返回有效结果。

内容的提问来源于stack exchange，提问作者Tim