从大文件提取匹配小文件内容的行及后续行的技术问题

我有一个多行内容的txt文件id.txt，内容示例：

xxxx
xxxx
xxxx
xxxx

另有一个2-6GB的大txt文件reference.txt，内容示例：

@xxxx zzz yyyy
1235804864
@abce zzz yyyy
1354867435
@xxxx zzz yyyy
3541687281

需要从reference.txt中提取包含id.txt中内容的行及其下一行，尝试了以下代码但无法正常运行：

while read p; do grep -A1 "$p" reference.txt > output.txt; done < id.txt

1. 每次循环用>重写output.txt，最终只保留最后一个ID的匹配结果，之前的内容都会被覆盖。
2. 循环中反复扫描2-6GB的大文件，效率极低，严重浪费系统资源。

方法1：用grep一次性匹配所有ID（简单高效） #

把id.txt的内容转成匹配模式，一次性扫描大文件，避免重复IO：

grep -F -f id.txt -A1 reference.txt > output.txt

参数说明：

• -F：将ID当作固定字符串匹配，避免ID含正则特殊字符导致匹配错误
• -f id.txt：从id.txt读取所有需要匹配的ID
• -A1：匹配到目标行后，额外输出该行的下一行

如果需要去除重复的匹配结果，可以追加| uniq：

grep -F -f id.txt -A1 reference.txt | uniq > output.txt

方法2：用awk只扫描一次大文件（超大文件最优选择） #

awk仅需读取一次reference.txt，同时将所有ID加载到内存，性能更优：

awk 'NR==FNR{ids[$0]; next} {for(id in ids) if(index($0, id)) {print; getline; print}}' id.txt reference.txt > output.txt

逻辑说明：

• NR==FNR{ids[$0]; next}：读取id.txt时，将每个ID存入数组ids
• 读取reference.txt时，遍历所有ID，检查当前行是否包含目标ID：匹配则打印当前行，再读取并打印下一行

如果目标行格式固定为@ID ...（如示例中的@xxxx zzz yyyy），可以优化匹配逻辑，提升效率：

awk 'NR==FNR{ids["@"$0]; next} $1 in ids {print; getline; print}' id.txt reference.txt > output.txt

该版本直接匹配行首第一个字段是否在ID数组中，无需遍历所有ID。

• 如果id.txt存在空行，先清理：grep -v "^$" id.txt > cleaned_id.txt，再用清理后的文件执行命令
• 对于6GB级别的超大文件，awk方法的内存占用取决于id.txt的行数，只要ID数量不是百万级以上，均可正常运行

内容的提问来源于stack exchange，提问作者Mohamed Aziz Hadj Nasr