使用cppkafka消费Kafka时poll返回空无法读取历史未提交消息

这个问题和Kafka服务端、Topic配置无关，完全是消费者侧代码逻辑错误导致的，核心问题有3个：

• 混用了两种互斥的消费模式：你一开始调用subscribe是使用消费者组自动重平衡模式，分区分配由组协调器自动完成；但你在poll返回空的分支里主动调用consumer.assign()是手动分区分配模式的接口，两者完全互斥。调用assign会直接覆盖自动重平衡的分区分配结果，导致消费者实际没有分区的消费权限，自然拉不到消息。
• 循环内重复订阅触发持续重平衡：subscribe只需要在消费循环启动前调用一次即可，你在循环里反复检查订阅状态、重复调用subscribe，会不断触发消费者组重平衡，消费者会一直卡在重平衡流程，根本不会进入正常拉取消息的状态。
• 对auto.offset.reset的生效逻辑理解有误：这个参数仅在消费者组首次连接集群、不存在任何已提交偏移量记录时才会生效。如果你的MyGroup消费组之前运行过、哪怕只提交过一次偏移量（比如之前错误运行时提交到了最新偏移量位置），后续不管你把这个参数改成earliest还是其他值，都不会生效，消费者会直接从已提交的偏移量位置开始消费，自然读不到更早的消息。你提到的「消息在首次消费者连接前就写入」的场景，只要配置正确是完全可以消费到的，不是问题诱因。

1. 完全删除poll空分支里的手动assign逻辑，也就是下面这段代码直接删掉，自动重平衡模式下分区分配、偏移量重置都由librdkafka底层自动处理，不需要手动干预：

if (!assignment.empty())
{
    auto committed_offset = consumer.get_offsets_committed(consumer.get_assignment());
    consumer.assign(committed_offset);
}

2. 删除循环内重复订阅的逻辑，consumer.subscribe({topic});只需要在消费循环前调用一次即可，不需要在循环中重复检查、重复订阅。
3. 正确配置偏移量重置规则，清理旧的错误偏移量：
   • 打开配置中auto.offset.reset的注释，固定使用earliest作为值，smallest是老版本兼容参数，不推荐使用。
   • 由于你之前使用MyGroup组ID运行时大概率已经提交过错误的偏移量，两种处理方式二选一：要么换一个全新的、从未使用过的组ID；要么在启动消费者前，用Kafka自带命令重置该组的偏移量到最早位置：

   kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group MyGroup --topic 你的实际Topic名 --reset-offsets --to-earliest --execute
   

4. 启动消费者后观察日志，必须看到Partitions assigned的打印，才说明重平衡完成、分区分配成功，此时poll才能正常拉取消息。如果一直看不到该日志，检查是否有其他同组消费者在线占用分区，或者集群网络连接是否正常。

如果按上述步骤修改后还是读不到旧消息，先确认你要消费的旧消息没有超过Topic设置的消息留存时间，超过留存时间的消息会被Kafka自动清理，任何消费者都无法读取。
你当前设置enable.auto.commit=false、处理完消息手动调用commit(msg)的逻辑是正确的，不需要调整。

内容的提问来源于stack exchange，提问作者kreuzerkrieg