如何通过Log4j配置删除Kafka超过3小时的旧滚动日志文件？

看起来你踩了Log4j 1.x里DailyRollingFileAppender的坑——这个Appender只负责按时间滚动日志文件，但没有内置的自动删除旧日志的功能，而且你之前写的滚动策略配置也没关联到正确的Appender上，所以完全没生效。

核心问题分析 #

• 错误使用DailyRollingFileAppender：这个Appender仅支持日志滚动，不提供日志清理能力，你设置的MaxBackupIndex和滚动策略对它来说完全无效。
• 配置关联错误：你写的log4j.appender.rolling.policies.time.type等配置是针对名为rolling的Appender，但你的实际Appender是kafkaAppender、stateChangeAppender等，这些配置根本没绑定到目标Appender上。

正确解决方案：改用RollingFileAppender+时间滚动策略 #

要实现按时间删除旧日志（比如保留最近3小时），需要使用org.apache.log4j.rolling.RollingFileAppender（来自log4j-extras扩展库，Kafka默认已经依赖这个库，无需额外添加），配合TimeBasedRollingPolicy来实现滚动+自动清理。

关键配置说明 #

• TimeBasedRollingPolicy.FileNamePattern：定义滚动后的日志文件名格式，这里用%d{yyyy-MM-dd-HH}实现每小时滚动一次。
• TimeBasedRollingPolicy.MaxHistory：设置保留的历史日志文件数量，对应你的需求，每小时滚动一次，保留3小时就设为3。
• ActiveFileName：指定当前正在写入的日志文件名。

修改后的完整log4j.properties配置 #

log4j.rootLogger=INFO, stdout, kafkaAppender

# 控制台输出Appender
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d] %p %m (%c)%n

# Kafka主日志Appender（核心修改部分）
log4j.appender.kafkaAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.kafkaAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.kafkaAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/server.log.%d{yyyy-MM-dd-HH}
log4j.appender.kafkaAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/server.log
# 保留最近3小时的日志（每小时滚动一次，对应3个历史文件）
log4j.appender.kafkaAppender.rollingPolicy.MaxHistory=3
log4j.appender.kafkaAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.kafkaAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 状态变更日志Appender
log4j.appender.stateChangeAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.stateChangeAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.stateChangeAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/state-change.log.%d{yyyy-MM-dd-HH}
log4j.appender.stateChangeAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/state-change.log
log4j.appender.stateChangeAppender.rollingPolicy.MaxHistory=3
log4j.appender.stateChangeAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.stateChangeAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 请求日志Appender
log4j.appender.requestAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.requestAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.requestAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/kafka-request.log.%d{yyyy-MM-dd-HH}
log4j.appender.requestAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/kafka-request.log
log4j.appender.requestAppender.rollingPolicy.MaxHistory=3
log4j.appender.requestAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.requestAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 日志清理器Appender
log4j.appender.cleanerAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.cleanerAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.cleanerAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/log-cleaner.log.%d{yyyy-MM-dd-HH}
log4j.appender.cleanerAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/log-cleaner.log
log4j.appender.cleanerAppender.rollingPolicy.MaxHistory=3
log4j.appender.cleanerAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.cleanerAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 控制器日志Appender
log4j.appender.controllerAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.controllerAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.controllerAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/controller.log.%d{yyyy-MM-dd-HH}
log4j.appender.controllerAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/controller.log
log4j.appender.controllerAppender.rollingPolicy.MaxHistory=3
log4j.appender.controllerAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.controllerAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 授权器日志Appender
log4j.appender.authorizerAppender=org.apache.log4j.rolling.RollingFileAppender
log4j.appender.authorizerAppender.rollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.authorizerAppender.rollingPolicy.FileNamePattern=${kafka.logs.dir}/kafka-authorizer.log.%d{yyyy-MM-dd-HH}
log4j.appender.authorizerAppender.rollingPolicy.ActiveFileName=${kafka.logs.dir}/kafka-authorizer.log
log4j.appender.authorizerAppender.rollingPolicy.MaxHistory=3
log4j.appender.authorizerAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.authorizerAppender.layout.ConversionPattern=[%d] %p %m (%c)%n

# 日志级别配置
log4j.logger.org.I0Itec.zkclient.ZkClient=INFO
log4j.logger.org.apache.zookeeper=INFO
log4j.logger.kafka=INFO
log4j.logger.org.apache.kafka=INFO
log4j.logger.kafka.request.logger=WARN, requestAppender
log4j.additivity.kafka.request.logger=false
log4j.logger.kafka.network.RequestChannel$=WARN, requestAppender
log4j.additivity.kafka.network.RequestChannel$=false
log4j.logger.kafka.controller=TRACE, controllerAppender
log4j.additivity.kafka.controller=false
log4j.logger.kafka.log.LogCleaner=INFO, cleanerAppender
log4j.additivity.kafka.log.LogCleaner=false
log4j.logger.state.change.logger=TRACE, stateChangeAppender
log4j.additivity.state.change.logger=false
log4j.logger.kafka.authorizer.logger=INFO, authorizerAppender
log4j.additivity.kafka.authorizer.logger=false

额外注意事项 #

• 时间粒度匹配：MaxHistory的数值要和FileNamePattern里的时间单位对应。比如你用HH（小时），MaxHistory=3就是保留3小时的日志；如果换成dd（天），就是保留3天的日志。
• 依赖检查：如果Kafka环境里没有log4j-extras库，需要手动添加（通常Kafka的lib目录里已经包含log4j-extras-*.jar）。
• 验证效果：修改配置后重启Kafka，等待几个小时后检查日志目录，超过3小时的旧日志文件应该会被自动删除。

内容的提问来源于stack exchange，提问作者MMANSOOR Shaikh