无需下载到本地,如何统计HDFS上匹配模式的bz2压缩文件行数
HDFS环境下批量统计匹配规则的.bz2文件总行数(无需迁移到本地)
适用场景
当HDFS存储路径下存放大量大体积.bz2压缩文件、本地磁盘空间不足以支撑全量拉取文件执行行数统计时,可直接使用HDFS原生命令链路完成统计,操作逻辑完全对齐本地Linux环境执行wc -l ***.txt的常规统计逻辑,无需将文件迁移到本地。
核心实现逻辑
全流程通过标准输出管道完成数据流转,全程不生成任何本地磁盘落地的临时文件:
- 通过HDFS客户端直接将匹配规则的.bz2文件内容以流形式从集群读取
- 对传输中的bz2内容做流式解码,无需完整下载整个压缩包
- 对解码后的纯文本流逐行计数,最终输出所有匹配文件的总行数
常用操作命令
单级目录固定规则统计
统计指定HDFS路径下、匹配目标文件名规则(例如所有后缀为.bz2、文件名带固定标识)的文件总行数:hadoop fs -cat /目标HDFS路径/*你的文件名匹配规则.bz2 | bzip2 -dc | wc -l
操作示例:统计HDFS路径
/user/etl/raw下所有文件名带202405标识的bz2文件行数,命令为:hadoop fs -cat /user/etl/raw/*202405*.bz2 | bzip2 -dc | wc -l
递归遍历子目录的全量匹配统计
如果需要统计的.bz2文件分散在目标路径的各级子目录下,使用HDFS原生的递归通配符完成跨层级匹配:hadoop fs -cat /目标HDFS路径/**/*你的文件名匹配规则.bz2 | bzip2 -dc | wc -l
注意事项
- 整套流程的内存占用仅和HDFS默认传输块大小(通常为128M/256M)相关,完全不受单个bz2文件的总大小限制,哪怕单文件体积超过百G也不会占用本地磁盘空间
- 管道链路中使用的
bzip2 -dc是节点上预装的标准bz2解压程序,和Hadoop自带的Bzip2编码解码器完全兼容,不会出现解压错位、统计行数不准的问题 - 统计逻辑和本地Linux执行
wc -l的逻辑完全一致:逐行识别文件中的换行符完成计数,解压过程不会修改原始文本的换行结构,统计结果精度和本地统计无差异
内容的提问来源于stack exchange,提问作者s_moktan
相关产品推荐
相关产品推荐

