如何在Databricks SQL批量查询中传递动态版本参数？

要实现从另一张表获取最大版本号作为table_changes的起始版本参数，你可以通过以下两种Databricks SQL原生方式实现：

方法1：使用会话变量存储动态值 #

这种方式先将目标表的最大版本号存入会话变量，再在table_changes中引用该变量：

-- 第一步：获取catalog.silver.silver_table的最大版本，赋值给会话变量
SET max_bronze_version = (SELECT MAX(version) FROM catalog.silver.silver_table);

-- 第二步：在table_changes中使用变量作为起始版本参数
SELECT * FROM table_changes('catalog.bronze.bronze_table', ${max_bronze_version});

如果需要同时指定结束版本（比如当前最新版本），可以扩展为：

SET start_version = (SELECT MAX(version) FROM catalog.silver.silver_table);
SET end_version = (SELECT MAX(version) FROM catalog.bronze.bronze_table);

SELECT * FROM table_changes('catalog.bronze.bronze_table', ${start_version}, ${end_version});

方法2：使用标量子查询直接传递参数 #

部分场景下可以直接将标量子查询作为table_changes的参数（需确保子查询返回单个值）：

SELECT * 
FROM table_changes(
  'catalog.bronze.bronze_table',
  (SELECT MAX(version) FROM catalog.silver.silver_table)
);

注意：这种方式在部分Databricks SQL版本中可能存在兼容性问题，若执行报错优先使用方法1。

关键注意事项 #

• 确保version字段的类型与table_changes要求的参数类型一致（通常为整数）
• 若目标表catalog.silver.silver_table为空，MAX(version)会返回NULL，此时table_changes会从最早版本开始查询，可根据业务需求添加判断逻辑

内容的提问来源于stack exchange，提问作者play_something_good