Flink SQL流计算中基于非时间戳派生字段GROUP BY的水印运行原理疑问

核心原理解答 #

1. 水印与派生分组键的映射逻辑 #

Flink SQL 优化器会自动跟踪字段的血缘关系，你场景中的date_str是通过确定性函数DATE_FORMAT(ts, 'yyyy-MM-dd')从带水印的事件时间字段ts派生而来，同一个ts值计算得到的date_str是固定的，因此Flink可以自动推导date_str对应的时间边界：每一个date_str（例如2024-05-20）对应的所有合法数据的ts都满足 ts < 对应日期的次日0点。
整个流的全局水印始终基于源表ts字段持续推进，水印的核心定义是：所有时间戳小于水印值的数据都已经全部到达。

2. date_str分组的关闭判断逻辑 #

你定义的水印规则是WATERMARK FOR ts AS ts - INTERVAL '5' SECOND，因此分组关闭的判断逻辑非常明确：
当全局水印推进到目标日期次日0点时，说明所有ts < 目标日期次日0点的数据已经全部到达，对应date_str的分组不会再有新数据流入，此时Flink就会触发该分组的最终计算，输出结果后自动销毁该分组的所有状态。

3. 内部实现流程 #

整体执行链路的底层逻辑如下：

• 源表算子生成事件时间水印并随流向下游传递，内层投影算子计算date_str等派生字段时，会保留每条数据的原始事件时间属性，水印也会正常向下游传播，不会因为新增派生字段中断。
• 聚合算子为每个活跃的date_str分组维护两份状态：去重用的用户ID集合、当前分组对应的最大时间边界（即对应日期的23:59:59.999）。
• 聚合算子每次收到新的全局水印时，会遍历所有活跃分组，只要分组的最大时间边界小于当前水印值，就判定该分组已结束，触发计算后清空对应状态。

4. 状态存储说明 #

不会永久存储所有采集到的记录：

• 只有未到关闭时机的活跃分组的状态会被保留，通常同一时间只会保留1-2个日期的分组状态。
• 分组被判定结束后，对应的所有状态会被立即清理，不会长期残留。

特殊场景说明：如果分组键不是从事件时间字段通过确定性函数派生而来，Flink无法自动推导分组的时间边界，此时会基于配置的table.exec.state.ttl参数来清理超时的空闲状态。

内容的提问来源于stack exchange，提问作者DimG