Kafka提交/中止事务报INVALID_PRODUCER_EPOCH错误排查咨询

首先明确错误核心：日志中返回的INVALID_PRODUCER_EPOCH以及实例被fence的报错，本质是Broker端判定当前生产者持有的producer epoch已失效，有使用相同transactional.id的更新生产者实例完成初始化，旧实例被强制隔离。

核心配置错误（该场景90%为该问题） #

• 采用随机Guid作为TransactionId的用法完全不符合Kafka事务生产者的设计逻辑。Kafka事务机制要求：需要保证事务语义的逻辑生产者，必须使用全局唯一、固定不变的TransactionId，禁止每次启动实例、每次开启事务都生成新的随机值。
• 随机TransactionId触发报错的逻辑：每次创建新的事务生产者实例生成新随机TransactionId时，Broker端的事务协调器会为新的TransactionId分配对应的epoch，短时间内频繁创建新生产者实例的情况下，哪怕本地只启动了一个应用进程，进程内生成的多个新生产者实例也会依次把之前创建的旧实例fence掉，和日志中“无其他部署实例、无TransactionId复用”的现象完全吻合。
• 从日志细节也能佐证问题：提交事务前flush的待发送消息数为0，说明大概率存在事务上下文绑定错误、或者频繁重建生产者实例的问题。

排查与修复步骤 #

• 修正TransactionId配置
  • 废弃随机生成TransactionId的逻辑，为每个独立部署的生产者实例分配全局唯一、固定不变的TransactionId，可按「业务域+实例标识」规则命名，比如order_callback_producer_node1，只要保证集群内全局不重复即可，不需要每次启动、每次事务重新生成。
  • 如果是消费-生产联动的Exactly Once场景（消费消息处理后生产新消息，同时在事务内提交消费位移），TransactionId可绑定消费组ID命名，保证消费组下每个工作线程对应唯一固定的TransactionId即可。
• 规范生产者实例生命周期
  • 事务生产者必须做单例复用：进程启动时完成一次生产者初始化，调用initTransactions()方法完成事务初始化后，整个进程生命周期内复用该实例，禁止每次发送消息、每次开启事务就新建一个生产者对象，进程退出前再统一关闭生产者。
  • 不要在同一个进程内创建多个事务生产者实例处理同一条业务链路的消息，也不要在事务执行过程中重新初始化生产者。
• 纠正事务API调用逻辑
  • 严格遵守标准事务调用流程：初始化生产者 -> 调用initTransactions() -> 循环执行业务逻辑：调用beginTransaction()开启事务 -> 事务内执行消息发送、消费位移提交操作 -> 业务处理成功调用commitTransaction()提交，业务失败调用abortTransaction()回滚。
  • 一旦生产者进入FatalError状态（即日志中记录的最终状态），该实例已经完全不可用，不能再调用任何事务API（包括abort接口），必须直接销毁该实例，重新创建新的生产者走完整初始化流程。
• Broker侧配置校验
  • 检查Broker配置项transactional.id.expiration.ms，默认值为7天，不要将该值调整得过小，否则TransactionId提前过期也会触发epoch失效错误。
  • 排查对应时间点Broker端事务协调器的日志，确认是否有相同TransactionId的新生产者注册记录，排查是否存在未被发现的生产者进程连接集群。

内容的提问来源于stack exchange，提问作者Vishnu Kumar K S D