Flink 1.13 SQL如何实现支持1小时迟到重算的10分钟滚动窗口

问题根因 #

你之前用自定义10分钟分片UDF+普通GROUP BY的方案会导致状态永久无法过期，本质是普通GROUP BY的分组状态Flink默认永久留存，且引擎无法识别UDF输出的时间分片的时间语义，没法判断哪些分片已经不会再有数据流入、可以清理状态。就算手动给普通分组配状态TTL，也是按数据写入状态的处理时间算过期，没法精准匹配事件时间维度“1小时内迟到重算”的要求，要么误删状态丢了该重算的数据，要么TTL设太长还是会出现状态膨胀。

最优实现：原生TUMBLE Window TVF + 窗口允许迟到配置 #

Flink 1.13已经完整支持Window TVF聚合，原生覆盖滚动窗口+迟到重算的语义，同时自动管理状态生命周期，完全匹配你的需求，不需要写自定义UDF。

具体实现 #

1. 先修正源表定义的笔误：你原表的watermark绑定字段写错了，需要绑定event_time字段，正确参考如下：

CREATE TABLE my_table(
   id STRING,
   event_time TIMESTAMP(3),
   -- watermark乱序容忍度可以根据业务实际情况调整，示例设为10秒
   WATERMARK FOR event_time AS event_time - INTERVAL '10' SECOND
) WITH (
  'connector' = 'kafka'
  -- 补全你的kafka topic、序列化方式、集群地址等配置
);

2. 配置窗口允许迟到参数，设置为1小时：

-- 单位为毫秒，3600000对应1小时，配置后1小时内到达的迟到数据会触发对应窗口重算
SET 'table.exec.window.allowed-lateness' = '3600000';

3. 编写窗口聚合SQL：

SELECT 
  window_start, 
  window_end, 
  COUNT(1) as total_cnt
FROM TABLE(
  TUMBLE(TABLE my_table, DESCRIPTOR(event_time), INTERVAL '10' MINUTES)
)
GROUP BY window_start, window_end;

方案优势 #

• 语义完全对齐需求：按10分钟粒度做滚动聚合，1小时内到达的迟到数据会自动触发对应窗口的结果更新
• 状态自动生命周期管理：当watermark推进到窗口结束时间 + 1小时阈值后，对应窗口的聚合状态会被Flink自动清理，不会出现状态无限增长的问题
• 性能更好：Window TVF是Flink新版本主推的窗口实现，引擎做了大量分片、状态读写的优化，比自定义UDF方案吞吐量高不少
• 扩展方便：如果需要收集超过1小时被丢弃的迟到数据，可以配合窗口侧输出语法单独落表，不需要改动核心聚合逻辑

注意事项 #

别用普通GROUP BY+时间函数/UDF分片的方式绕开原生窗口实现，这类方案脱离了Flink的窗口状态管理机制，要么没法精准控制状态过期，要么保证不了迟到数据的处理语义，生产环境踩坑概率极高。

内容的提问来源于stack exchange，提问作者slo