Flink SQL左连接匹配记录后右表仍出现null值问题求助

可能的原因 #

1. 左/右表存在撤回/更新消息 #

如果table1或table2对应的Kafka数据源包含撤回（DELETE）或更新（Upsert）消息，会导致连接状态异常：

• 若table1的id=1记录被更新，Flink会先撤回之前基于该记录生成的所有连接结果，当新的记录进来时，如果右表的匹配记录已被清理或删除，就会输出带null的结果。
• 若table2的id=1记录被删除，右表状态中该id的记录被移除，后续左表的id=1记录关联时就会得到null。

2. 状态TTL配置导致匹配记录被清理 #

如果开启了Flink状态TTL，且TTL时间设置过短，右表中id=1的记录会被自动清理。当左表再次出现id=1的记录时，无法找到匹配的右表数据，从而输出null。

3. DataStream转Table的模式错误 #

若你将带有更新的DataStream错误地配置为Append模式，Flink无法正确处理更新操作，会导致连接逻辑异常，出现不符合预期的null值。

4. 未使用时态表处理维度更新 #

如果table2是存在更新的维度表，普通的LEFT JOIN无法处理维度的动态更新，当维度记录被删除或更新时，会导致旧的左表记录关联到null。

排查步骤 #

• 打印DataStream的原始消息，确认是否存在撤回/更新标记的消息。
• 检查Flink的状态TTL配置，确认是否开启了TTL以及时间设置是否合理。
• 查看Kafka Topic中的消息，确认table2是否有针对id=1的删除消息。
• 检查DataStream转Table的代码，确认是否正确指定了更新模式（Retract/Upsert）。

解决方法 #

• 处理撤回/更新消息：如果业务不需要处理更新，可过滤掉DataStream中的撤回消息，转为Append模式的Table；如果需要处理更新，确保状态保留足够时间，或使用时态表JOIN。
• 调整状态TTL：延长TTL时间，确保右表的匹配记录能保留到足够长的时间，或关闭不必要的状态TTL。
• 使用时态表JOIN：若table2是维度表，改用时态表JOIN关联右表的最新状态，避免因维度更新导致的null值。示例SQL：

SELECT 
  join_source_1.id, 
  join_source_1.dept, 
  join_source_2.employeeName 
FROM join_source_1 
LEFT JOIN join_source_2 FOR SYSTEM_TIME AS OF join_source_1.proctime 
ON join_source_1.id = join_source_2.id

注意：需要为左表定义处理时间属性proctime，右表需为支持Upsert的表（如由Upsert Kafka连接器创建）。

内容的提问来源于stack exchange，提问作者Darshan Shirke