在Azure Databricks中创建可向查询传递日期的Widget问题求助

问题分析 #

你之前的写法不符合Databricks Widget的语法规则：

1. Databricks的CREATE WIDGET不支持直接用子查询作为默认值，默认值必须是字面量
2. SET mbr.MAX这种变量赋值方式不是Databricks的正确用法

正确实现步骤 #

1. 先获取最大日期并创建Widget

推荐用Python单元格先计算出最大日期，再创建文本类型Widget（如果需要可选日期列表，也可以用dropdown类型）：

%python
# 计算表中的最大startdate
max_start_date = spark.sql("SELECT MAX(startdate) FROM table").collect()[0][0]
# 创建文本Widget，默认值为最大日期，显示标签为"Start Date"
dbutils.widgets.text("max_startdate", str(max_start_date), "Start Date")

如果想用纯SQL实现，需要先把最大日期存入临时视图，再通过变量传递：

-- 先将最大日期存入临时视图
CREATE OR REPLACE TEMP VIEW max_date_view AS
SELECT MAX(startdate) AS max_date FROM table;

-- 用SQL变量获取值（需在Databricks SQL仓库或启用变量的笔记本中执行）
SET max_date = (SELECT max_date FROM max_date_view);

-- 创建Widget，默认值引用SQL变量
CREATE WIDGET TEXT max_startdate DEFAULT ${max_date} LABEL "Start Date";

2. 在查询中引用Widget变量

创建好Widget后，直接用${widget_name}格式引用变量即可：

SELECT *
FROM table
WHERE startdate = to_date('${max_startdate}');

注：如果你的startdate是字符串类型，可去掉to_date()转换；如果是日期类型，保留转换能确保格式匹配。

补充说明 #

• 如果需要让用户手动选择日期（而非固定默认最大日期），可以改用dropdown类型Widget，提前准备可选日期列表
• Widget创建后，笔记本顶部会出现对应的输入框/下拉框，修改值后查询会自动使用新值

内容的提问来源于stack exchange，提问作者Englishman Bob