如何在Bash中基于匹配规则提取表格行并生成对应文件？

问题需求 #

从大表文件bigtable_het.txt中提取目标行：当该行第5、7、8列分别与列表文件list_only.lst的第1、2、3列完全匹配时，将该行写入以对应列表行命名的输出文件（例如列表行是1CG，则输出到only_1CG.txt）。

原嵌套循环方案的问题 #

用Shell嵌套循环逐行读取list_only.lst再调用awk的方式，不仅效率极低（大文件会反复启动awk进程），还容易因字段含特殊字符（空格、引号等）导致匹配失败，最终出现无输出的情况。

优化后的Awk脚本 #

直接用Awk一次性处理两个文件，通过数组存储匹配规则，全程仅启动一次进程，效率和可靠性都大幅提升：

NR==FNR {
    # 处理列表文件，构建匹配键与输出文件的映射
    match_key = $1 FS $2 FS $3
    output_file = "only_" $0 ".txt"
    match_map[match_key] = output_file
    next
}
{
    # 处理大表文件，生成当前行的匹配键
    curr_key = $5 FS $7 FS $8
    if (curr_key in match_map) {
        # 匹配成功则追加到对应文件
        print $0 >> match_map[curr_key]
    }
}

使用步骤 #

1. 将上述代码保存为extract_matches.awk
2. 执行命令：

awk -f extract_matches.awk list_only.lst bigtable_het.txt

关键说明 #

• NR==FNR：Awk内置判断，用于识别并优先处理第一个输入文件（list_only.lst）
• match_key：用列表行的前三列拼接成唯一匹配键，避免单字段匹配时的冲突
• match_map：数组存储匹配键对应的输出文件名，实现O(1)时间复杂度的匹配查询
• 若列表行内容含特殊字符（如/、空格），可修改输出文件名规则，例如：

  output_file = "only_" $1 "_" $2 "_" $3 ".txt"
  

额外注意 #

• 若之前已生成过only_*.txt文件，脚本会追加内容，如需清空可先执行：rm -f only_*.txt
• 该方案支持超大文件处理，无需担心内存或性能问题

内容的提问来源于stack exchange，提问作者Dr. Heinz Doofenshmirtz PhD