使用AWK提取指定列含目标词的前两行（大文件优化）

我来帮你解决这个大文件提取的效率问题！之前用循环grep确实太折磨了——10万+目标词要反复扫描几百MB到1GB的文件，效率低到离谱；而fgrep的-m2是全局限制输出2行，根本满足不了“每个目标词输出前两行”的需求。正好结合你提到的「第三列词汇唯一且不会出现在其他列」的特点，用AWK可以完美解决，而且只需要扫描一次文件，效率拉满！

场景1：基于目标词列表提取（匹配第三列） #

如果必须按照给定的10万+目标词列表来提取，我们可以先把目标词读进内存，再逐行处理大文件，对每个匹配第三列的词只保留前两行：

编写AWK脚本（比如命名为extract_targets.awk） #

BEGIN {
    # 一次性把目标词列表读进数组，避免反复打开文件
    while ((getline word < "list_of_words.txt") > 0) {
        targets[word] = 1
    }
    close("list_of_words.txt")
}
# 核心逻辑：第三列在目标列表中，且该词的输出次数还没到2次
targets[$3] && count[$3] < 2 {
    print $0
    count[$3]++
}

运行命令 #

awk -f extract_targets.awk input.txt > output.txt

这个脚本的优势在于：只需要扫描一次大文件，目标词列表也只加载一次到内存，相比循环grep的10万+次文件扫描，效率提升几个数量级。

场景2：直接提取第三列每个词的前两行（无需目标列表） #

既然你提到第三列的词汇唯一且不会出现在其他列，要是不需要目标词列表，直接对第三列的每个词保留前两行，那代码更简单，速度也更快：

直接用单行AWK命令 #

awk 'count[$3] < 2 {print $0; count[$3]++}' input.txt > output.txt

效果验证 #

用你给出的示例输入测试这个命令，正好得到你想要的输出：

Dog Bird House
Mouse Giraffe Cat
Mouse Rhino House
Dog Rat Cat

原理很简单：用count数组记录第三列每个词已经输出的行数，只要行数小于2，就输出当前行并把计数加1。全程只扫一遍文件，内存占用极低，完全适配几百MB到1GB的大文件场景。

内容的提问来源于stack exchange，提问作者Christian Milani