Kafka read_commited消费者无法读取数据，LSO未更新问题求助

核心问题分析 #

当使用read_commited隔离级别时，消费者只能读取到**Last Stable Offset（LSO）**之前的已提交消息。如果LSO卡在事务起始偏移量不更新，即使生产者已完成事务提交，消费者也无法读取后续消息；切换到read_uncommited模式能正常读取，说明问题根源在于LSO的更新机制未正常触发。

结合你的Kafka 2.3.0集群配置，以下是具体排查方向和解决方法：

1. 检查事务状态日志（__transaction_state）的健康状态 #

事务的提交/回滚元数据存储在__transaction_state主题中，该主题的副本同步状态直接影响LSO的更新：

• 执行命令查看主题状态：

  kafka-topics.sh --describe --topic __transaction_state --bootstrap-server <broker-ip>:9092
  

• 重点关注每个分区的ISR（In-Sync Replicas）数量是否满足transaction.state.log.min.isr=2的配置要求。如果ISR数量不足，broker无法确认事务状态，会导致LSO停滞。
• 解决：
  • 若存在离线副本，重启对应的broker节点，等待ISR恢复到配置数量。
  • 若副本长期无法同步，可通过kafka-reassign-partitions.sh工具重新分配__transaction_state的副本。

2. 排查僵死事务 #

你的transaction.max.timeout.ms=18000000（5小时）设置过大，可能导致部分异常事务长期处于未完成状态，占用事务资源并阻碍LSO更新：

• 列出当前所有事务状态：

  kafka-transactions.sh --list --bootstrap-server <broker-ip>:9092
  

• 检查是否有长时间处于INITIALIZING或STARTED状态的事务。
• 解决：
  • 将transaction.max.timeout.ms调整为合理值（建议不超过900000，即15分钟，需小于transaction.state.log.retention.ms的默认值7天）。
  • 重启broker，触发自动清理超时事务，broker会对超时未完成的事务执行abort操作，从而更新LSO。

3. 修复Kafka版本已知bug #

Kafka 2.3.0属于较老版本，存在多个与事务LSO更新相关的bug（例如多分区事务提交时的元数据同步异常、LSO更新逻辑遗漏等）：

• 解决：升级Kafka到稳定的高版本（如2.8.x或3.x系列），这些版本修复了大量事务相关的底层问题，能从根源避免LSO停滞的情况。

4. 检查业务主题的副本同步状态 #

业务主题的副本同步异常也可能导致事务提交标记无法同步到足够副本，进而影响LSO更新：

• 查看业务主题的分区状态：

  kafka-topics.sh --describe --topic <your-business-topic> --bootstrap-server <broker-ip>:9092
  

• 确认每个分区的Replicas与ISR一致，且ISR数量满足min.insync.replicas=2的要求。
• 解决：
  • 检查broker节点间的网络连接，排除网络延迟或中断问题。
  • 若存在长期不同步的副本，删除并重新创建副本，或调整副本分配策略。

内容的提问来源于stack exchange，提问作者Sivasyam S