为何DirectRunner不执行流水线步骤但DataflowRunner可正常运行

问题成因 #

• DirectRunner与DataflowRunner的水印推进逻辑存在本质差异：Dataflow服务端会基于Pub/Sub消息的到达时间、队列滞后情况自动推进全局水印，只要窗口结束时间小于当前水印就会触发窗口计算。本地DirectRunner默认依赖输入源的水印生成策略，若没有持续的新消息流入，水印会停滞，10秒固定窗口永远无法满足「水印超过窗口结束时间」的默认触发条件，因此窗口后的步骤不会执行。你看到的偶尔触发的情况，一般是某次运行时刚好有新消息推动水印跨过了窗口结束阈值。
• 固定窗口默认触发策略的限制：固定窗口默认使用AfterWatermark.pastEndOfWindow()触发规则，仅当水印超过窗口结束时间时才会执行窗口计算，本地调试如果仅输入少量测试数据后无新数据流入，窗口会长期处于未触发状态。
• 本地Pub/Sub连接的配置问题：无论本地连接的是真实Pub/Sub订阅还是Pub/Sub模拟器，默认都不会主动推进水印，没有持续消息输入时水印会长期卡在最后一条消息的时间戳之前。

调试方案 #

• 本地调试时可临时修改窗口触发规则，例如增加处理时间触发AfterProcessingTime.pastFirstElementInPane().plusDelayOf(Duration.standardSeconds(10))或者计数触发Repeatedly.forever(AfterPane.elementCountAtLeast(1))，调试完成后再切回生产环境使用的触发规则即可。
• 单元测试场景可使用TestStream模拟输入，手动控制水印推进时机，完全可控的复现窗口触发逻辑。
• 不存在操作错误：DirectRunner的定位是本地功能验证，其调度、水印推进、触发逻辑本来就和Dataflow服务端存在设计差异，两者行为不一致是预期内的情况，并非历史BUG未修复。

内容的提问来源于stack exchange，提问作者Michał