Flink 1.15中ROWTIME去重后窗口聚合报错是否为预期行为？

这是Flink 1.15.0版本的预期行为，原因可以从事件时间与处理时间去重的流特性差异、窗口聚合算子的限制两方面解释：

核心原因分析 #

1. 事件时间（ROWTIME）去重的流特性 #

当使用事件时间作为去重排序依据时，由于数据流的乱序性，去重算子（Deduplicate）需要维护状态来等待可能迟到的、更早事件时间的记录。一旦迟到的符合去重条件的记录到达，算子会输出DELETE旧结果 + INSERT新结果的变更流（即Upsert流），以修正之前的去重结果。

2. 窗口聚合算子的限制 #

Flink 1.15.0中的StreamPhysicalWindowAggregate窗口聚合算子不支持消费包含UPDATE/DELETE类型的变更流，它只能处理仅包含INSERT类型的数据流，因此会抛出你遇到的TableException。

处理时间（PROCTIME）能正常运行的原因 #

使用处理时间作为排序依据时，数据按实际处理顺序排序，去重算子输出结果后，不会因为后续数据触发结果变更（处理时间是单调递增的，不会出现“迟到的更早时间”数据），因此去重算子输出的是纯INSERT流，可以被窗口聚合算子正常消费。

事件时间场景下的解决方案 #

如果业务必须基于事件时间去重后做窗口聚合，可尝试以下方案：

• 方案一：将去重结果转为纯INSERT流：把去重后的Upsert流写入支持Upsert的连接器（如Kafka），再从该连接器读取数据作为窗口聚合的输入（此时读取到的是最终的INSERT结果），但会引入额外的IO开销。
• 方案二：限制去重算子的状态生命周期：通过设置合理的水位线延迟或状态TTL，让去重算子在水位线超过事件时间一定阈值后，不再处理迟到数据，避免产生Upsert变更，确保输出纯INSERT流。

内容的提问来源于stack exchange，提问作者Martin Bomio