使用awk筛选Tab分隔TSV数据中列值出现3次及以上的所有行的方法

• 逻辑偏差：++a[$2]>3的判断规则是「当某B列值的出现计数累积到超过3时，才输出当前行」，而需求是「只要某B列值的全量总出现次数≥3，就输出它的所有行」。以样本中仅出现3次的aaa为例，正常单文件读取时aaa的计数最多到3，永远达不到>3的触发条件，根本不会输出aaa的行。
• 计数混乱：连续传入两次相同的test.tsv文件，awk会按顺序把文件内容全部读两遍，计数器a[$2]会在两次读取中持续累加，完全偏离真实的频次统计值，这也是错误输出里零散出现aaa、ccc部分行的核心原因。
• 未处理表头：没有单独将表头纳入输出逻辑，也没有在统计频次时排除表头行，导致计数错误、表头丢失。

采用两阶段扫描的通用awk实现，适配Tab分隔的TSV格式，兼容所有版本的awk：

awk -F'\t' '
BEGIN { OFS = "\t" }
# 第一遍扫描：仅统计B列各值的总出现次数，跳过表头
NR == FNR {
    if (FNR > 1) cnt[$2]++;
    next
}
# 第二遍扫描：按规则输出内容
FNR == 1 { print; next }  # 优先输出表头
cnt[$2] >= 3 { print }      # 输出所有B列总次数≥3的数据行
' test.tsv test.tsv > test-2.tsv

方案说明 #

• 传入两次相同的源文件，第一次通过NR==FNR的判断识别，仅做频次统计、不输出任何内容，统计时跳过表头行（通过FNR>1的判断实现）
• 第二次扫描源文件时，第一行固定输出作为表头，后续数据行只要对应B列的累计出现次数≥3，就直接输出
• 指定-F'\t'作为分隔符，严格匹配TSV的Tab分隔格式，避免字段内包含空格时的解析错误
• 运行后输出结果和需求示例完全一致：保留aaa（出现3次）、ddd（出现4次）的所有行，过滤掉仅出现1次的bbb、出现2次的ccc的行，且完整保留表头。

内容的提问来源于stack exchange，提问作者ersan