Ignite Server Pod无法获取文件锁问题排查求助

故障背景 #

客户端节点因Ignite Server就绪探针失败无法启动，服务器日志反复输出：

[PdsFoldersResolver] Unable to acquire lock to file [/ignite/work/db], reason: No locks available

该日志出现时间与客户端故障完全吻合。

尝试缩扩容Ignite Server无效，进一步排查发现：

• /ignite/work/log目录存在3846个旧日志锁文件，而对应日志文件仅35个（正常仅当前日志有锁文件）；
• 缩扩容后服务器无启动日志输出，仅重复锁文件获取失败信息；
• 手动启动服务器卡在启动阶段无进展。

问题1：旧日志锁文件持续残留的原因是什么？如何阻止该现象？ #

残留原因 #

• 进程强制终止：Ignite进程被K8s节点驱逐、OOM kill、强制删除Pod等方式终止时，日志组件（如Log4j）来不及主动释放并删除锁文件，导致残留。
• 持久化存储特性：若/ignite/work/log挂载PV，Pod销毁时不会自动清理存储内文件，旧锁文件持续累积。
• 版本BUG：部分旧版本Ignite在日志滚动、进程退出场景下存在锁文件未清理的问题，频繁重启时会加剧该现象。

阻止措施 #

• 配置优雅退出：在K8s Deployment中设置terminationGracePeriodSeconds（建议30-60秒），给Ignite足够时间完成锁释放；避免使用kubectl delete pod --force强制删除。
• 调整日志配置：修改Log4j/SLF4J配置，启用锁文件自动清理，或改用无锁日志滚动策略（如基于时间滚动），减少锁文件创建频率。
• 升级Ignite版本：升级至官方修复该问题的稳定版本（如2.15及以上）。
• 存储自动清理：为PV挂载的日志目录添加初始化容器（initContainer），启动前清理超过7天的旧锁文件；若无需持久化日志，可改用emptyDir存储日志目录。

问题2：如何清理Ignite Server？手动删除锁文件能否解决问题？ #

清理步骤 #

1. 停止所有Ignite实例：将Deployment副本数缩容至0，确保无活跃进程占用锁文件。
2. 清理锁文件：
   • 若使用PV，通过临时Pod挂载存储卷，执行命令删除锁文件：

     rm -rf /ignite/work/log/*.lck /ignite/work/db/*.lck
     

   • 若为emptyDir，直接删除Pod即可自动清理，但PV需手动操作。
3. 验证清理结果：检查/ignite/work/log和/ignite/work/db目录，确认无残留锁文件。
4. 重启Ignite Server：扩容副本数，观察启动日志是否正常，就绪探针是否恢复。

手动删除锁文件的有效性 #

手动删除锁文件可以直接解决当前启动卡壳问题，因为No locks available通常是残留锁文件耗尽系统锁资源导致。但如果不解决锁文件残留的根源问题，后续故障会重复出现，因此清理后必须配合问题1中的阻止措施。

内容的提问来源于stack exchange，提问作者RichardFeynman