若数据源一段时间未发数据,Flink算子是否仍接收watermark,Low Watermark会推进吗?
断流场景下Flink Watermark传递与
Low Watermark指标变化说明 断流时算子能否接收到新的Watermark?
答案没有绝对的是或否,完全取决于Source端配置的Watermark生成策略和空闲检测规则,分场景拆解:
- 对于默认的周期性Watermark生成器(默认每200ms触发一次生成逻辑):生成器的核心计算逻辑是基于当前观测到的最大事件时间推导Watermark值。当数据源持续断流、没有新事件输入时,Source端能获取到的最大事件时间没有变化,每次周期生成的Watermark值和上一次输出的完全一致,本质上不会产生有时间推进意义的新Watermark传递给下游算子。
- 对于标点式Watermark生成器:这类生成器只会在接收到特定标记事件时才触发Watermark输出,断流场景下根本不会生成新的Watermark,自然也不存在向下游传递的可能。
- 如果在Source端开启了空闲数据源标记(Idleness):当Source检测到自身一段时间没有收到新数据,会主动进入空闲状态,此时该分区的Watermark会从下游算子的输入计算集合中剔除,不再参与Watermark的传递与流程计算。
监控面板上的Low Watermark指标会推进还是静止?
Low Watermark的计算规则很明确:取算子当前所有输入Channel对应的上游分区上报的Watermark值中的最小值,它的变化同样分两种情况:
- 如果断流的上游分区没有配置空闲检测:该分区会持续上报最后一次计算得到的静止Watermark值,只要这个值是所有输入Channel里最小的,整个算子的
Low Watermark就会保持完全静止,不会推进——这也是Flink窗口永远不触发的最常见排查点之一。 - 如果断流的上游分区配置了空闲检测:分区进入空闲状态后,其Watermark会被移出最小值的计算范围,剩余正常运行的上游分区的Watermark会继续按自身节奏推进,此时算子的
Low Watermark会跟着正常分区的进度持续更新,不会被空闲的断流分区卡住。
内容的提问来源于stack exchange,提问作者Grant
相关产品推荐
相关产品推荐

