Hive 3.1.2终端日志泛滥且不写入文件问题求助

结合Hive 3.x的日志体系特性及你遇到的现象，问题大概率出在以下几个核心点：

• Log4j2配置未被正确加载：Hive 3.0+默认采用Log4j2作为日志框架，若你仍在修改旧版的hive-log4j.properties，完全不会生效；同时若HIVE_CONF_DIR环境变量未正确指向配置目录，Hive会加载默认模板配置而非你修改的文件。
• Hadoop日志配置的优先级干扰：Hive启动时会加载Hadoop的类路径，Hadoop自带的Log4j2配置会覆盖Hive的日志规则，导致终端仍输出大量INFO/WARN日志。
• 日志目录权限不足：/tmp/user/hive.log对应的目录（/tmp/user）不存在或Hive进程无读写权限，导致日志无法写入文件，只能回退到终端输出。
• 启动脚本的硬编码覆盖：Hive的启动脚本可能隐含指定了日志参数，覆盖了你通过配置文件或--hiveconfig设置的规则。

1. 确认并修正配置文件加载路径 #

首先检查Hive配置目录的环境变量：

echo $HIVE_CONF_DIR

若输出为空或指向错误路径，手动设置为你的Hive配置目录（例如/opt/apache-hive-3.1.2/conf）：

export HIVE_CONF_DIR=/path/to/your/hive/conf

同时确保该目录下存在hive-log4j2.properties，若没有，从Hive安装包的conf.template目录复制模板文件：

cp $HIVE_HOME/conf.template/hive-log4j2.properties $HIVE_CONF_DIR/

2. 修改Log4j2核心配置 #

编辑$HIVE_CONF_DIR/hive-log4j2.properties，做以下关键调整：

# 1. 根日志器：仅输出ERROR级及以上日志，同时指定终端（Console）和文件（DRFA）输出
hive.root.logger=ERROR, Console, DRFA

# 2. 终端输出配置：限制为ERROR级
appender.Console.type=Console
appender.Console.name=Console
appender.Console.layout.type=PatternLayout
appender.Console.layout.pattern=%d{ISO8601} %p %c: %m%n
appender.Console.filter.threshold.type=ThresholdFilter
appender.Console.filter.threshold.level=ERROR

# 3. 文件输出配置：指定日志路径和滚动规则
property.hive.log.dir=/tmp
appender.DRFA.type=RollingFile
appender.DRFA.name=DRFA
appender.DRFA.fileName=${sys:hive.log.dir}/${sys:user.name}/hive.log
appender.DRFA.filePattern=${sys:hive.log.dir}/${sys:user.name}/hive.log.%d{yyyy-MM-dd}
appender.DRFA.layout.type=PatternLayout
appender.DRFA.layout.pattern=%d{ISO8601} %p %c: %m%n
appender.DRFA.policies.type=Policies
appender.DRFA.policies.time.type=TimeBasedTriggeringPolicy
appender.DRFA.policies.time.interval=1
appender.DRFA.policies.time.modulate=true

3. 屏蔽Hadoop日志配置的干扰 #

修改Hive启动脚本$HIVE_HOME/bin/hive，在exec命令前添加强制加载Hive日志配置的环境变量，避免Hadoop的配置覆盖：

# 在脚本的exec行上方添加
export LOG4J_CONFIG_FILE=$HIVE_CONF_DIR/hive-log4j2.properties

4. 修复日志目录权限 #

确保日志输出目录存在且有读写权限：

mkdir -p /tmp/$(whoami)
chmod 775 /tmp/$(whoami)

5. 验证配置生效 #

启动Hive Shell时添加调试参数，确认配置加载情况：

hive --debug --hiveconf hive.root.logger=ERROR,Console,DRFA

查看终端输出的配置加载日志，确认是否正确读取了你的hive-log4j2.properties文件。

内容的提问来源于stack exchange，提问作者preet