Kafka Streams重平衡时锁状态目录失败致应用停滞问题排查求助

问题重现 #

高负载下重平衡时应用持续卡住，日志反复出现如下错误：

org.apache.kafka.streams.errors.LockException: stream-thread [metricsvc-metric-space-aggregation-9f4389a2-85de-43dc-a45c-3d4cc66150c4-StreamThread-1] task [0_13] Failed to lock the state directory for task 0_13
    at org.apache.kafka.streams.processor.internals.StateManagerUtil.registerStateStores(StateManagerUtil.java:91) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.StreamTask.initializeIfNeeded(StreamTask.java:216) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.TaskManager.tryToCompleteRestoration(TaskManager.java:433) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.StreamThread.initializeAndRestorePhase(StreamThread.java:849) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:731) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:583) ~[kafka-streams-2.8.1.jar:?]
    at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:556) ~[kafka-streams-2.8.1.jar:?]

当前环境：4个Kubernetes Pod（各有独立状态目录），代码重写了WindowedStore和ReadOnlyWindowedStore类。

排查方向 #

• 自定义Store的锁实现验证
  检查重写的WindowedStore是否正确实现了状态锁逻辑：

  • 确认是否正确对接Kafka Streams的StateStore锁机制，在初始化、读写、关闭等所有操作中正确获取/释放锁
  • 排查异常场景（任务中断、恢复失败）下锁是否被正确释放，是否存在锁泄漏导致后续任务无法获取锁

• 重平衡时的任务生命周期检查

  • 查看Pod内线程栈，确认重平衡时旧的StreamThread是否完全终止，是否有残留线程持有状态目录的锁文件
  • 检查cleanup.on.shutdown配置是否为true（默认值），若被修改为false，服务关闭时不会清理状态锁，会导致下次启动冲突

• 状态目录的隔离与权限验证

  • 再次确认各Pod的状态目录完全独立，未误使用共享PVC或存储卷，避免跨Pod的锁冲突
  • 检查Pod运行用户对状态目录的读写权限，高负载下IO延迟可能导致锁文件创建/删除失败，引发锁占用

• Kafka Streams版本bug排查
  当前使用的2.8.1版本存在部分重平衡与状态锁相关的已知bug，可查阅官方Release Notes确认是否有对应修复，考虑升级到2.8.x补丁版本或更高稳定版本（如3.0+）

• 自定义Store的恢复逻辑排查

  • 检查重写的WindowedStore在状态恢复阶段是否存在阻塞、死锁逻辑，导致长时间持有锁无法释放
  • 验证恢复过程中的IO密集型操作是否被优化，高负载下此类操作容易阻塞锁释放流程

内容的提问来源于stack exchange，提问作者birinder tiwana