为何流与流的Inner Join无需强制设置Watermark？

核心疑问 #

• 为什么两个流表的Inner Join无需强制设置Watermark，而Left Outer Join必须？毕竟Inner Join也存在状态存储内存膨胀的问题。
• 如何理解官方文档的说明：> Inner Join可选配Watermark+事件时间约束，但Outer Join必须指定，因为引擎需知晓何时某输入行未来不会匹配任何数据，才能生成正确的NULL结果

问题解析 #

1. Inner Join 无需强制Watermark的原因 #

Inner Join的输出逻辑是仅当左右流存在匹配键的行时，才会输出关联结果。

• 即使不设置Watermark，Spark会持续保留所有历史状态，确实会有内存逐渐膨胀的风险，但不会输出错误结果——最多是内存耗尽导致程序崩溃，只要程序在运行，输出的所有结果都是符合关联规则的正确匹配项。
• 官方将Watermark设为可选，是让用户根据自身业务场景（比如数据量、内存资源）决定是否启用：启用后可以通过事件时间规则清理过期状态，避免内存溢出，但不启用也不会影响结果正确性。

2. Left Outer Join 必须强制Watermark的原因 #

Left Outer Join需要输出左流中未匹配到右流的行（即右流字段为NULL的结果），这对Spark引擎的状态管理提出了严格要求：

• 引擎必须明确知道「左流的某一行，未来再也不会出现右流的匹配行」，才能安全输出带NULL的结果。如果没有Watermark和事件时间约束，引擎永远无法确定这一点——比如左流某行今天产生，右流匹配的行可能一周后才到，此时提前输出NULL结果就会出错。
• Watermark的作用就是定义「过期时间阈值」：比如设置左流Watermark为事件时间延迟1小时，右流Watermark为延迟30分钟，同时搭配事件时间约束（如right.event_time >= left.event_time - interval 1 hour）。当左流的行超过Watermark阈值后，引擎就能确定未来不会有匹配的右流数据，此时可以输出NULL结果，并清理对应的状态。

对官方文档说明的大白话解释 #

官方的这段说明核心是区分两种Join的输出确定性：

• Inner Join的输出只依赖「已匹配的行」，有没有Watermark不影响结果的正确性，只是影响内存占用；
• Outer Join的输出包含「未匹配的行」，必须通过Watermark明确“何时可以判定无后续匹配”，才能保证输出的NULL结果是最终、正确的，不会被后续数据推翻。

内容的提问来源于stack exchange，提问作者Praveen Kumar B N