Apache Flink流作业如何过滤非关注字段变更产生的无意义输出记录

upsert-kafka源会完整下发上游所有变更事件，即便变更仅涉及你未选取的字段。你当前使用的SELECT DISTINCT在Flink流处理模式下仅对完全重复的事件去重，不会对比同一主键下前后两次事件的目标字段是否变化，因此只要上游有事件流入就会生成输出。

提供两种常用落地方式：

方案1：SQL窗口函数对比（全版本兼容，无额外配置） #

通过按主键分区的窗口函数对比前后记录的目标字段，仅变化时输出：

SELECT id, uuid 
FROM (
    SELECT 
        id, 
        uuid,
        -- 存储同主键上一行的id、uuid组合
        LAG(ROW(id, uuid)) OVER (PARTITION BY id ORDER BY proctime()) AS prev_row
    FROM (
        -- 增加处理时间列用于事件排序
        SELECT *, PROCTIME() AS proctime FROM organizations
    ) t
) t2
-- 仅输出首条记录或字段发生变更的记录
WHERE prev_row IS NULL OR prev_row <> ROW(id, uuid)

该方案状态仅存储每个主键的上一次目标字段值，资源消耗极低，适配所有支持upsert-kafka的Flink版本。

方案2：启用Changelog优化（Flink 1.13+，代码零改动） #

直接在作业配置中开启引擎自带的changelog源优化参数，让引擎自动识别无变更的事件并丢弃：

# 开启changelog物化视图源优化
table.optimizer.changelog-materialized-table-source-enabled: true
# 允许将投影下推到changelog源
table.optimizer.source.push-partial-project-into-changelog-source: true

开启后引擎会自动识别你仅选取了id、uuid两个字段，当上游变更未涉及这两个字段时直接丢弃事件，不会向下游传递，性能最优，代码无改动。

• 两种方案都依赖表定义的PRIMARY KEY (id)和上游Debezium同步的主键保持一致
• 若需避免作业重启后全量快照重复输出，可合理设置状态TTL，配合Kafka消费位点配置使用

内容的提问来源于stack exchange，提问作者Tano