为什么hadoop fs -cat和-text统计HDFS文件行数结果不一致？

你统计的目标文件是.lzo_deflate后缀的压缩格式文件，两个命令对压缩文件的处理逻辑完全不同，最终导致统计结果天差地别：

• 你执行hadoop fs -cat /path/part-00982.lzo_deflate |wc -l得到的311424是无效结果：cat命令只会透传文件的原始二进制内容，不会做任何解压/解码操作，输出的是压缩后的乱码二进制流。wc -l统计的只是二进制流中碰巧出现ASCII换行符（0x0A）的次数，和文件实际存储的文本行数没有任何关系，这个数值只是随机巧合的结果。
• 你执行hadoop fs -text /path/part-00982.lzo_deflate |wc -l得到的2099305是真实行数：text命令会自动识别lzo、deflate、gzip等常见压缩格式，以及SequenceFile这类Hadoop专属二进制格式，先自动完成解压/解码得到原始明文内容，再对外输出，此时统计的换行符数量就是文件真实的行数。

• 功能逻辑不同
  • cat行为和Linux原生cat命令完全一致，仅做原始字节流的透传输出，不对内容做任何加工处理
  • text是Hadoop针对大数据存储场景开发的专属工具命令，内置了主流压缩格式、大数据序列化存储格式的解码能力，会先把文件转换为明文再输出
• 适用场景不同
  • cat仅适合查看明文存储的非压缩普通文本文件，对压缩文件、二进制序列化文件使用时会输出乱码
  • text适合查看所有Hadoop生态支持的存储格式文件，包括各类压缩文件、SequenceFile、Avro文件等

内容的提问来源于stack exchange，提问作者Lucky Ning