Flink Table API中tumble窗口默认并行度下MySQL sink无输出问题

核心技术原理 #

• 事件时间窗口的触发依赖水位线（Watermark）推进：你使用的是基于transaction_time的事件时间滚动窗口，窗口只有在全局水位线超过窗口结束时间时，才会触发聚合计算并向下游sink输出结果。
• 多并行度下水位线传播规则限制：Flink默认的全局水位线计算逻辑是取所有上游并行子任务上报水位线的最小值。你观测到的“部分子任务未接收到上游下发的记录”，就是无数据的source并行子任务，这些子任务的水位线会一直停留在初始值Long.MIN_VALUE，直接拉低了下游窗口算子的全局水位线，永远达不到1小时滚动窗口的结束阈值，因此窗口不会触发计算，自然没有数据写入MySQL sink。
• 并行度为1时恢复正常的逻辑：当并行度设置为1时，仅存在一个source子任务处理全量数据，只要该子任务有数据流入，水位线就会正常推进，达到窗口结束时间后即可触发聚合输出结果。

常见触发场景 #

• 数据源（如Kafka Topic）存在部分分区无数据流入，或消费偏移量之后部分分区无新数据写入
• 未配置空闲source分区的水位线忽略策略，无数据分区持续拖慢全局水位线推进
• 事件时间字段的水位线生成规则配置错误，无法正常生成递增的水位线

解决方案 #

• 配置空闲source超时参数：在Table环境配置中添加table.exec.source.idle-timeout: 60000（单位为毫秒，可按需调整），超过指定时间无数据流入的分区会被自动排除在全局水位线计算逻辑外
• 调整source并行度与数据源分片数匹配，确保所有并行子任务都能分配到数据分片
• 测试场景若无持续数据流，可临时使用处理时间进行功能验证，或手动调整水位线触发规则

内容的提问来源于stack exchange，提问作者王京东