Databricks Spark SQL水印语法问题：DLT流表左连接报错

用SQL写Databricks Delta Live Table(DLT)的青铜到银层迁移任务，碰到流连接报错：

'Stream-stream LeftOuter join between two streaming DataFrame/Datasets is not supported without a watermark in the join keys, or a watermark on the nullable side and an appropriate range condition; line 12 pos 2;'

情况是：历史表只用来回填遗留数据，之后不会再更新，但为了避免每次跑管道都重复扫历史表，我用了STREAM语法关联青铜层的流表。现在能找到一堆PySpark的水印资料，但SQL版的水印语法文档几乎找不到，不想切换到PySpark，想保持SQL管道的一致性。

DLT的SQL里直接用WATERMARK子句就能加水印，不用依赖PySpark API。针对你的场景分两种处理方式：

推荐方案：青铜层流表+静态历史表 #

历史表不会更新的话，其实没必要把它当流处理，直接关联静态表就能避开流流连接的限制。如果非得用STREAM优化扫描，给青铜层流表加水印就行：

CREATE OR REFRESH STREAMING LIVE TABLE silver_table
AS
SELECT 
  b.*,
  h.legacy_field1,
  h.legacy_field2
FROM STREAM(live.bronze_table) b
LEFT JOIN live.history_table h
ON b.id = h.id
-- 基于青铜层的事件时间字段加水印，示例设为1天
WATERMARK b.event_time FOR INTERVAL 1 DAY

特殊场景：两边都作为流处理（不推荐） #

如果因为某些原因必须把历史表也当流处理，就得给两边都加水印，同时加时间范围条件：

CREATE OR REFRESH STREAMING LIVE TABLE silver_table
AS
SELECT 
  b.*,
  h.legacy_field1,
  h.legacy_field2
FROM STREAM(live.bronze_table) b
LEFT JOIN STREAM(live.history_table) h
ON b.id = h.id
-- 加时间范围条件，示例设为7天内的匹配
AND b.event_time >= h.event_time - INTERVAL 7 DAY
AND b.event_time <= h.event_time + INTERVAL 7 DAY
-- 青铜层水印
WATERMARK b.event_time FOR INTERVAL 1 DAY
-- 历史表水印（哪怕无更新，语法上需要满足流连接要求）
WATERMARK h.event_time FOR INTERVAL 7 DAY

注意点 #

• WATERMARK的格式是：WATERMARK <表别名>.<事件时间字段> FOR INTERVAL <时长> <单位>，比如INTERVAL 2 HOUR、INTERVAL 30 MINUTE都可以
• 事件时间字段必须是Timestamp类型，得确保数据里这个字段是准确的事件发生时间
• 左外连接的话，要么在nullable的那一侧（也就是右表）加水印，要么把水印字段加入连接键，再配合时间范围条件，就能符合Spark流连接的规则

内容的提问来源于stack exchange，提问作者work89