如何用Unix shell命令查找file1中未在file2中出现（含部分匹配）的行

最优高效命令（awk实现） #

awk 'NR==FNR { all = all $0 "\n"; next } index(all, $0) == 0' file2 file1

实现逻辑说明 #

• 优先读取第一个输入文件file2，将所有内容拼接为一个完整的长字符串，每行末尾补充换行符避免跨行误匹配
• 后续读取file1逐行校验，调用awk内置的index函数判断当前行是否是file2完整内容的子串
• index返回值为0代表没有匹配到，直接输出该行，符合需求

方案优势 #

• 极低IO开销：仅需读取两个文件各一次，无中间临时文件
• 匹配效率高：index是底层C实现的原生字符串匹配，远快于正则匹配、逐行循环grep等方案，适配GB级以上大文件场景
• 匹配准确率高：拼接file2内容时主动添加换行符，避免出现file1内容跨file2两行匹配的异常情况

超大file2优化方案 #

如果file2体积远超可用内存，可以先对file2做行去重，减少内存占用：

awk '!duplicate[$0]++' file2 | awk 'NR==FNR { all = all $0 "\n"; next } index(all, $0) == 0' - file1

示例验证 #

按照给出的测试文件：

• file2拼接后的完整内容为aaaccc \nbb\n
• 匹配file1第一行aaa时，index返回值大于0，被排除
• 匹配file1第二行bbb时，index返回值为0，正常输出，符合预期

内容的提问来源于stack exchange，提问作者Benny80