Kafka从2.3.0升级至3.3.1后获取分区偏移量失败咨询

以下是针对该报错的具体排查和解决步骤：

• 检查分区副本状态
  执行kafka-topics.sh --describe --topic Prd_IN_AlertsPublish --bootstrap-server <你的Kafka集群地址>，查看分区Prd_IN_AlertsPublish-28的Leader节点、ISR列表状态。如果有副本节点不在ISR中或显示离线，优先恢复对应节点的服务，等待副本自动同步。

• 修复损坏的日志文件
  定位到replicaId=1节点上该分区的日志存储目录（路径参考Kafka配置的log.dirs，通常是log.dirs/Prd_IN_AlertsPublish-28），检查目录下的日志段文件（.log、.index、.timeindex）是否存在损坏（比如文件大小为0、无法正常读取）。备份损坏文件后删除，重启该broker，让副本重新从Leader拉取完整数据。

• 调整副本同步相关配置
  跨版本升级后，默认的副本同步参数可能不匹配当前业务数据规模：

  • 调大replica.fetch.max.bytes，确保能容纳单批次最大消息量，避免拉取时因消息过大失败；
  • 适当延长replica.lag.time.max.ms，给副本足够的同步时间，防止因短暂延迟被踢出ISR。
    修改配置后重启对应broker节点。

• 手动重置分区偏移量（谨慎操作）
  如果确认是消费组或副本的偏移量与Leader不一致导致：

  1. 停止相关消费服务；
  2. 执行kafka-consumer-groups.sh --reset-offsets --topic Prd_IN_AlertsPublish-28 --group <目标消费组名> --to-earliest --execute --bootstrap-server <你的Kafka集群地址>重置偏移量；
  3. 重启消费服务和对应broker节点。
     注意：此操作会让消费组重新从头消费该分区数据，需确认业务可接受。

• 验证集群版本一致性
  确保所有broker节点都已完成从2.3.0到3.3.1的升级并重启，没有残留旧版本节点。执行kafka-broker-api-versions.sh --bootstrap-server <你的Kafka集群地址>，检查所有节点的API版本是否统一，避免元数据格式不兼容问题。

内容的提问来源于stack exchange，提问作者Kiran Satpute