Flink集群运行时未将全部记录写入Kafka主题分区问题咨询

1. Kafka生产者配置排查 #

• 确认acks配置：本地测试通常使用默认的acks=1甚至acks=0，集群环境如果Kafka节点故障或网络波动，未等副本确认就返回写入成功会直接丢数。强一致需求场景下建议调整为acks=all，同时配置retries参数大于0，开启idempotence=true避免重试导致的重复写入。
• 检查max.in.flight.requests.per.connection配置：该值大于1且未开启幂等时，重试可能出现消息乱序，极端情况会导致消息被覆盖丢失，建议调为1或开启生产者幂等。
• 验证批次相关配置：确认batch.size、linger.ms、delivery.timeout.ms配置合理，若集群出现生产者OOM、进程被强制Kill，内存中攒的未发送批次会直接丢失，可根据业务场景调整批次大小和超时阈值。

2. Flink作业容错配置排查 #

• 确认Checkpoint是否开启：本地IDE运行通常数据量小、运行周期短，未开启Checkpoint也不会触发故障恢复；集群运行若遇到TaskManager重启、作业Failover，未开Checkpoint会丢失处理中还未写入Kafka的数据，需确认execution.checkpointing.enabled设为true，且Checkpoint间隔符合业务要求。
• 检查Kafka Sink语义配置：使用Flink KafkaProducer时需确认配置了Semantic.AT_LEAST_ONCE或Semantic.EXACTLY_ONCE，默认NONE语义会出现丢数。开启EXACTLY_ONCE语义需要Kafka集群支持事务，同时配置事务超时时间大于Checkpoint间隔+最大Checkpoint保留时间。
• 确认作业重启策略：若集群作业遇到异常直接退出没有重试，部分未处理完的数据会丢失，需确认配置了固定延迟或失败率重启策略。
• 若使用Flink SQL写Kafka，检查是否有非空约束、主键约束导致不符合规则的数据被静默丢弃，可临时调整日志级别为DEBUG查看过滤记录的日志。

3. 集群环境与资源排查 #

• 检查Flink集群资源：若TaskManager内存不足、CPU占满，会出现数据反压，缓冲区数据超过超时时间会被丢弃，可在Flink UI查看反压监控、TaskManager日志是否有OOM、超时报错。
• 排查Kafka集群连通性：确认Flink集群所有节点都能正常访问Kafka broker地址和端口，避免部分节点网络不通导致发送失败未触发重试。
• 核对Kafka主题配置：确认集群使用的Kafka主题确实为3分区，没有出现权限不足写入错误主题、分区配置与本地不一致的问题，同时检查Kafka集群是否有分区离线、副本同步异常的告警。

4. 日志与指标校验 #

• 查看Flink TaskManager日志：搜索KafkaProducer相关报错，确认是否有发送失败、超时、权限拒绝、事务失败的异常信息。
• 核对Flink作业指标：在Flink UI查看Kafka Sink的numRecordsOut、numRecordsSend、numRecordsError指标，对比数据源输入记录数，确认数据是在Sink环节丢失还是上游处理环节被过滤。
• 查看Kafka服务端日志：检查broker是否有分区写入失败、消息过大被拒绝、非法消息被丢弃的报错。

内容的提问来源于stack exchange，提问作者Kashish Sharma