You need to enable JavaScript to run this app. 如何用Bash脚本读取格式化文件并统计行数、唯一文件和校验和数量
优惠活动
大模型
产品
解决方案
定价
更多

如何用Bash脚本读取格式化文件并统计行数、唯一文件和校验和数量

解决方案

你可以用awk单次遍历文件直接统计三个指标,无需多次读取文件,效率更高,完整脚本示例如下:

#!/bin/bash
# 替换为你的输入文件路径,也可通过脚本参数传入如 input=$1
input="你的目标文件路径"

if [[ ! -f "$input" ]]; then
    echo "错误:文件 $input 不存在"
    exit 1
fi

awk -F ' *- *' '
# 跳过全空、仅包含空白字符的行
/^[[:space:]]*$/ { next }
{
    # 统计有效总行数
    total_line++
    # 用关联数组存储文件名,天然去重
    unique_file[$1] = 1
    # 用关联数组存储校验和,天然去重
    unique_checksum[$4] = 1
}
END {
    print "有效总行数:" total_line
    print "唯一文件数量:" length(unique_file)
    print "唯一校验和数量:" length(unique_checksum)
}
' "$input"

逻辑说明

  • 分隔符设置为 *- *:自动匹配字段之间-前后的任意数量空格,提取出的字段自动去除首尾多余空白,无需额外做trim处理
  • 关联数组天然去重:相同的文件名/校验和只会在数组中保留一个键,最后用length()可直接得到去重后的数量
  • 跳过空白行逻辑:避免空行被计入总行数
    你原本的循环代码还存在变量名拼写错误:count_lines=${countlines+1}里两个变量名不一致(count_lines和countlines),会导致计数异常。

拆分命令实现(符合你原本的awk+sort -u思路)

如果你希望用拆分命令分步实现,适合小文件场景的写法如下:

#!/bin/bash
input="你的目标文件路径"
if [[ ! -f "$input" ]]; then
    echo "错误:文件 $input 不存在"
    exit 1
fi

# 跳过空行统计总行数
total_line=$(grep -v '^[[:space:]]*$' "$input" | wc -l)
# 提取文件名字段去重后计数
unique_file_cnt=$(awk -F ' *- *' '!/^[[:space:]]*$/{print $1}' "$input" | sort -u | wc -l)
# 提取校验和字段去重后计数
unique_checksum_cnt=$(awk -F ' *- *' '!/^[[:space:]]*$/{print $4}' "$input" | sort -u | wc -l)

echo "有效总行数:$total_line"
echo "唯一文件数量:$unique_file_cnt"
echo "唯一校验和数量:$unique_checksum_cnt"

内容的提问来源于stack exchange,提问作者Arzental

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 06:42:04