HDFS控制台zero警告含义、日志重定向失效及消除方法咨询

一、这个"zero"警告是什么含义？ #

这个警告我太熟悉了，它来自HDFS客户端的DFSInputStream.doRead()方法——当客户端调用read()尝试读取数据时返回了0字节，就会触发这条WARN日志。

通常这种情况发生在你已经读到文件末尾，但应用的读取逻辑还在继续尝试调用read()方法的时候。不过你说功能运行正常，说明你的业务代码其实已经处理了文件读取完成的逻辑（比如判断read返回值是否为-1），只是HDFS客户端会把这种“读到0字节”的情况打个警告出来而已，本身不会影响功能。

二、日志重定向没生效？试试这些方法 #

你配置的hadoop.root.logger="WARN,DRFA"等参数没生效，大概率是配置方式不对：

• 这些配置需要写在Hadoop的log4j.properties（或者log4j2.xml，取决于你的Hadoop版本）文件里，而不是随便在代码里设置。如果是自定义应用，也可以在项目的log4j配置文件里添加这些项。
• 如果是在启动应用时指定配置，可以通过JVM参数传递：-Dlog4j.configuration=file:/path/to/your/custom-log4j.properties，确保在HDFS客户端初始化前加载这个配置。
• 还要确认DRFA这个appender的配置是完整的，比如要在log4j.properties里包含：

  log4j.appender.DRFA=org.apache.log4j.RollingFileAppender
  log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.log.file}
  log4j.appender.DRFA.MaxFileSize=256MB
  log4j.appender.DRFA.MaxBackupIndex=20
  log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout
  log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
  

  同时要保证应用有${hadoop.log.dir}目录的写入权限。

三、如何消除这些警告？ #

有两种思路可以解决：

1. 直接过滤掉这个警告（最快） #

既然功能正常，只是日志烦人，那可以把DFSClient的日志级别调高，让这个WARN不输出。在log4j.properties里添加一行：

log4j.logger.org.apache.hadoop.hdfs.DFSClient=ERROR

这样只有ERROR级别及以上的日志才会输出，这个"zero"的WARN就会被过滤掉了。

2. 从代码逻辑上避免（更彻底） #

检查你的读取代码，确保当InputStream.read()返回**-1**（表示文件读取完毕）之后，就不要再继续调用read()方法了。比如典型的正确读取逻辑应该是：

byte[] buffer = new byte[1024];
int len;
while ((len = inputStream.read(buffer)) != -1) {
    // 处理读取到的数据
}
// 读完后关闭流
inputStream.close();

如果你的代码在循环外还调用了read()，就可能触发这个警告，调整逻辑后就能从根源上解决问题。

内容的提问来源于stack exchange，提问作者user1289