如何用Bash脚本读取格式化文件并统计行数、唯一文件和校验和数量
解决方案
你可以用awk单次遍历文件直接统计三个指标,无需多次读取文件,效率更高,完整脚本示例如下:
#!/bin/bash # 替换为你的输入文件路径,也可通过脚本参数传入如 input=$1 input="你的目标文件路径" if [[ ! -f "$input" ]]; then echo "错误:文件 $input 不存在" exit 1 fi awk -F ' *- *' ' # 跳过全空、仅包含空白字符的行 /^[[:space:]]*$/ { next } { # 统计有效总行数 total_line++ # 用关联数组存储文件名,天然去重 unique_file[$1] = 1 # 用关联数组存储校验和,天然去重 unique_checksum[$4] = 1 } END { print "有效总行数:" total_line print "唯一文件数量:" length(unique_file) print "唯一校验和数量:" length(unique_checksum) } ' "$input"
逻辑说明
- 分隔符设置为
*- *:自动匹配字段之间-前后的任意数量空格,提取出的字段自动去除首尾多余空白,无需额外做trim处理 - 关联数组天然去重:相同的文件名/校验和只会在数组中保留一个键,最后用
length()可直接得到去重后的数量 - 跳过空白行逻辑:避免空行被计入总行数
你原本的循环代码还存在变量名拼写错误:count_lines=${countlines+1}里两个变量名不一致(count_lines和countlines),会导致计数异常。
拆分命令实现(符合你原本的awk+sort -u思路)
如果你希望用拆分命令分步实现,适合小文件场景的写法如下:
#!/bin/bash input="你的目标文件路径" if [[ ! -f "$input" ]]; then echo "错误:文件 $input 不存在" exit 1 fi # 跳过空行统计总行数 total_line=$(grep -v '^[[:space:]]*$' "$input" | wc -l) # 提取文件名字段去重后计数 unique_file_cnt=$(awk -F ' *- *' '!/^[[:space:]]*$/{print $1}' "$input" | sort -u | wc -l) # 提取校验和字段去重后计数 unique_checksum_cnt=$(awk -F ' *- *' '!/^[[:space:]]*$/{print $4}' "$input" | sort -u | wc -l) echo "有效总行数:$total_line" echo "唯一文件数量:$unique_file_cnt" echo "唯一校验和数量:$unique_checksum_cnt"
内容的提问来源于stack exchange,提问作者Arzental
相关产品推荐
相关产品推荐

