如何排查使用Log4j2的Java服务停止写日志问题

可能的原因 #

• 文件描述符耗尽：进程打开的文件句柄数达到系统上限（如ulimit -n设置的值），Log4j2无法获取新的日志文件句柄；若配置了ignoreExceptions=true，这类IO异常会被静默忽略，不会输出警告。
• 日志上下文意外终止：代码中误调用LogManager.shutdown()、LoggerContext.close()，或类加载器问题导致Log4j2上下文被卸载，日志输出通道失效，但业务逻辑未受影响。
• 日志级别被动态调整：通过JMX、代码逻辑或外部工具将全局/特定Logger的级别设为OFF，此时不会输出任何日志，且无额外警告。
• 异步日志队列阻塞/溢出：使用AsyncAppender时，若队列满且配置了discardingThreshold（默认开启），超出阈值的日志会被静默丢弃；若处理线程死锁或阻塞，也会导致日志无法落地。
• 滚动日志策略异常：RollingFileAppender滚动时，若目标文件被其他进程锁定、磁盘inode耗尽，或滚动规则配置错误，可能触发静默失败（取决于ignoreExceptions设置）。
• 权限或磁盘状态变化：日志目录突然变为只读、进程失去写入权限，或磁盘空间耗尽，若Log4j2配置了忽略IO异常，不会输出错误信息。

额外调试步骤 #

• 检查文件句柄与磁盘状态：
  • 用lsof -p <进程PID>查看进程打开的文件列表，确认日志文件句柄是否存在，以及总句柄数是否接近系统限制；
  • 执行df -h检查磁盘剩余空间，ls -ld <日志目录>验证目录权限。
• 通过JMX查看Log4j2内部状态：
  • 用JConsole或VisualVM连接进程，找到org.apache.logging.log4j2下的MBean，查看当前日志级别、Appender的启停状态、异步队列的容量与使用情况。
• 启用Log4j2调试日志：
  • 在JVM启动参数中添加-Dlog4j2.debug=true，Log4j2会输出自身的配置加载、Appender操作、异常信息等调试内容，可直接输出到控制台或指定文件。
• 分析线程栈：
  • 执行jstack <进程PID>导出线程栈，检查Log4j2相关线程（如AsyncAppender-*）是否处于阻塞、死锁或终止状态；
  • 检查是否有线程持有日志文件锁，导致无法写入。
• 强制测试日志输出：
  • 在业务代码中添加一段直接调用日志API的测试代码（如LogManager.getLogger("TestLogger").error("Force log output test")），同时用strace -p <PID> -e write,open跟踪系统调用，确认是否有写入日志文件的操作。
• 排查依赖冲突：
  • 用mvn dependency:tree（Maven）或gradle dependencies（Gradle）检查依赖树，确认是否存在不同版本的Log4j2、SLF4J等日志相关库冲突。
• 检查配置的动态变更：
  • 排查代码中是否有动态修改日志配置的逻辑；查看运维记录，确认是否有通过外部工具调整过日志级别。

内容的提问来源于stack exchange，提问作者harsh singh