Kafka消费者批量处理与提交：未提交记录去向及死信队列问题

未提交记录的后续走向 #

• 首先明确：Kafka的offset提交是按分区维度记录最新值，而非逐条单独存储。你提交第4条记录的offset() + 1后，该分区的已提交offset就更新为4，此时1-3条的未提交状态已被覆盖；之后提交第7条的offset() + 1，已提交offset更新为7；最后提交第9条的offset() + 1，已提交offset固定为9。
• 正常运行时，下次poll()会从offset=9拉取第10条记录，1-3、5-8这些未提交的记录不会被重复拉取。但如果consumer重启或触发rebalance，新的consumer实例会直接从已提交的offset=9开始拉取，这些未提交的记录会永久丢失——因为Kafka不会追踪单条记录的处理状态，只认分区的最新提交offset。

Kafka原生的死信队列情况 #

• Kafka本身**没有原生的死信队列（DLQ）**机制。死信队列属于业务侧自定义实现的功能：当某条消息处理失败时，需要自行编写逻辑将其转发到专门的DLQ主题，方便后续排查与重试。
• 若未实现自定义DLQ逻辑，那些处理失败且未提交的记录，在你提交更高offset后会直接丢失，不会被Kafka自动存入任何队列。

内容的提问来源于stack exchange，提问作者John Ho