Flink SQL Tumble滚动窗口聚合结果未写入本地文件系统问题排查

• 核心原因：你使用了基于处理时间（ProcessTime）的滚动窗口，和有界的Filesystem源触发逻辑存在冲突。
  1. 本地Filesystem源是有界数据源，读取完所有静态文件内容后，Flink作业会直接终止。你配置的是1秒的ProcessTime滚动窗口，需要等待系统时间走过窗口结束边界才会触发计算，但作业往往在窗口触发前就已经完成读取退出，没有机会执行窗口计算输出结果。
  2. Kinesis是无界流数据源，作业会持续运行，窗口到期自然触发，所以线上环境运行正常。
  3. 无窗口逻辑直接写入可以正常运行，是因为不需要等待窗口触发条件，数据读取后直接写入Sink，作业结束时就会提交文件。

方案1：替换为事件时间窗口（推荐） #

你已经在源表中定义了requestTime事件时间字段和对应的Watermark，直接将分组逻辑中的ProcessTime窗口替换为事件时间窗口即可：

INSERT INTO user_latest_request
    SELECT groupId,
           userId,
           MAX(requestTime) as latestRequestTime
    FROM incoming_data
    GROUP BY TUMBLE(requestTime, INTERVAL '1' SECOND), groupId, userId;

Flink读取完所有有界源数据后，会自动插入一个最大值的Watermark，触发所有未关闭的事件时间窗口，保证结果正常输出。

方案2：保留ProcessTime窗口的临时适配方案 #

如果必须使用ProcessTime窗口做本地测试，可以做如下配置：

1. 开启Checkpoint（同时解决Filesystem Sink文件未提交的问题），在作业配置或SQL Client中添加：

SET execution.checkpointing.interval = 1000;

2. 配置作业优雅关闭超时时间，给窗口预留触发时间：

SET execution.shutdown-grace-period = 2000;

Flink 1.11版本的Filesystem Sink默认只有在Checkpoint完成或作业正常终止时才会将临时文件转为正式可读取的输出文件，所以必须开启Checkpoint，否则即使窗口有计算结果，也无法在输出目录看到最终文件。

内容的提问来源于stack exchange，提问作者Alfred