带Watermark的Spark Structured Streaming去重机制相关问题

问题解答 #

1. 状态存储的内容 #

你给出的方案里，Spark状态存储仅会跟踪去重键的字段值，不会存储完整事件内容：

• 你的代码中给dropDuplicates传入了["signature", "timestamp"]两个字段作为去重组合键，状态存储里只会保留这两个字段的历史出现记录，用于后续新数据到达时判断重复，体积较大的payload字段不会存入状态，不用担心大事件带来的状态存储压力。
• 额外提醒：如果你的需求是仅按signature字段全局去重，不需要带上timestamp作为去重键，否则同一个signature对应不同timestamp的事件会被判定为非重复事件，无法达到你预期的去重效果。

2. 输出的延迟逻辑 #

这个方案不会阻塞30天才输出数据：

• 30天的Watermark配置的作用是控制状态的过期清理逻辑，不是控制输出延迟：当新批次数据到达时，只要对应的(signature, timestamp)组合没有在历史状态中出现过，该事件会在当前批次处理完成后立即写入下游。
• Watermark的实际作用是：当系统的最大事件时间推进到超过某条事件的timestamp + 30天后，这个(signature, timestamp)对应的去重键会从状态中删除，避免状态无限膨胀。后续如果再出现时间早于当前Watermark的重复事件，Spark会直接忽略重复判断逻辑，因为这类事件已经超出了你设定的30天最大延迟范围。

内容的提问来源于stack exchange，提问作者unvadim