如何为Hadoop 3配置Log4j实现历史日志压缩

1. 配置项差异的核心原因 #

Hadoop 3默认使用Log4j 1.x，你查阅的官方文档大概率是Log4j 2.x版本的，两者配置体系完全不同：

• Log4j 1.x的滚动文件Appender用File指定当前日志路径，filePattern是Log4j 2.x专属配置，1.x完全不识别
• Log4j 1.x要实现旧日志自动压缩，必须使用带滚动策略的Appender实现，而非基础的RollingFileAppender

2. 日志文件名的自动替换逻辑 #

hadoop.log.file=hadoop.log是基础变量，Hadoop启动脚本（如hdfs-daemon.sh）会根据进程角色自动拼接生成最终文件名：

• 例如NameNode进程会替换为hadoop-hdfs-namenode-<主机名>.log
• DataNode进程则替换为hadoop-hdfs-datanode-<主机名>.log
  这个替换是脚本层面自动完成的，无需手动修改配置变量。

3. 正确的旧日志压缩配置 #

修改hadoop-log4j.properties，替换原有RFA Appender的配置：

替换Appender实现 #

将基础滚动Appender替换为带滚动策略的版本：

log4j.appender.RFA=org.apache.log4j.rolling.RollingFileAppender

配置滚动策略与压缩规则 #

以按时间滚动+自动压缩为例，添加以下配置（也可搭配按大小滚动的触发策略）：

# 基于时间的滚动策略，每天生成一个归档文件并自动压缩为gz格式
log4j.appender.RFA.RollingPolicy=org.apache.log4j.rolling.TimeBasedRollingPolicy
log4j.appender.RFA.RollingPolicy.FileNamePattern=${hadoop.log.dir}/${hadoop.log.file}.%d{yyyy-MM-dd}.gz
# 保留最近7天的归档日志
log4j.appender.RFA.RollingPolicy.MaxHistory=7

# 可选：按文件大小触发滚动（需注释掉时间滚动的触发逻辑）
# log4j.appender.RFA.TriggeringPolicy=org.apache.log4j.rolling.SizeBasedTriggeringPolicy
# log4j.appender.RFA.TriggeringPolicy.MaxFileSize=100MB

保留当前日志的正常写入 #

当前日志路径仍用File指定，不要加.gz后缀，确保实时日志可正常追加：

log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}

4. 常见错误解析 #

• 你之前添加的filePattern是Log4j 2.x配置，Log4j 1.x无法识别，因此不会生成压缩归档
• 直接给File配置加.gz后缀，会导致当前日志也被压缩，而压缩文件无法实时写入内容，不符合业务需求

验证配置 #

修改完成后重启对应Hadoop服务（如NameNode），可手动模拟日志滚动（将当前日志重命名为旧日志），触发后即可看到自动生成的.gz压缩归档文件。

内容的提问来源于stack exchange，提问作者Hpoonis