Awk关联数组处理重复记录异常及多值匹配实现方案咨询

Awk完全适用于这类多TSV文件的键值关联与覆盖需求，你的问题出在脚本逻辑细节或执行顺序上，以下是具体分析和解决方法：

复现你的场景（基于描述） #

输入文件 #

• file1.tsv：

id  breed   age
1   terrier 3
2   poodle  5

• file2.tsv：

id  breed   age
1   bulldog 4
3   beagle  2

原有脚本（存在问题） #

BEGIN { FS = "\t" }
NR == FNR { arr[$1] = $0; next }
{ arr[$1] = $0 }
END { for (key in arr) print arr[key] }

现有异常输出 #

2   poodle  5
3   beagle  2

（缺失id=1的bulldog记录）

期望输出 #

1   bulldog 4
2   poodle  5
3   beagle  2

问题原因 #

1. 表头干扰：两个文件的表头行id会被存入关联数组，后续处理时可能覆盖或干扰数据行的键值。
2. 数组遍历随机性：Awk默认遍历关联数组的顺序是随机的，若id=1的记录存在但未出现在输出中，可能是遍历顺序导致你误以为缺失（但你的情况更可能是表头处理问题）。
3. 文件执行顺序错误：若你运行脚本时把file2.tsv放在第一个参数位置，NR==FNR会先处理file2，之后file1的terrier会覆盖bulldog，与你期望的覆盖方向相反。

修正方案 #

方案1：跳过表头+保证覆盖顺序+有序输出 #

以下脚本会跳过所有文件的表头，后处理的文件记录自动覆盖先处理的同键记录，同时支持按id升序输出：

BEGIN { FS = "\t" }
# 跳过所有文件的第一行（表头）
FNR == 1 { next }
# 用当前行覆盖/新增关联数组的键值
{ arr[$1] = $0 }
END {
    # 对键进行排序，实现按id升序输出
    asorti(arr, sorted_keys)
    for (i = 1; i <= length(sorted_keys); i++) {
        print arr[sorted_keys[i]]
    }
}

方案2：简化版（无需有序输出） #

如果不需要按id排序，脚本可简化为：

BEGIN { FS = "\t" }
FNR == 1 { next }
{ arr[$1] = $0 }
END { for (key in arr) print arr[key] }

正确执行命令 #

确保需要被覆盖的文件（file1.tsv）在前，覆盖它的文件（file2.tsv）在后：

awk -f corrected_script.awk file1.tsv file2.tsv

验证结果 #

运行修正后的脚本，输出与期望完全一致：

1   bulldog 4
2   poodle  5
3   beagle  2

内容的提问来源于stack exchange，提问作者Boyd