如何用awk移除包含两个及以上指定单词的行？

要实现移除文件中包含WORD1两次及以上的行，可以将原awk命令修改为逐行统计匹配次数的逻辑，具体命令如下：

基础过滤命令（输出到终端或新文件） #

awk -v p="WORD1" '{cnt=gsub(p,p); if(cnt<2) print $0}' 目标文件名

如果要批量处理当前目录下所有文件，将目标文件名替换为*即可。

原地修改文件（批量处理） #

如果需要直接修改原文件，可结合shell循环和临时文件实现（操作前建议备份重要文件）：

for file in *; do
    awk -v p="WORD1" '{cnt=gsub(p,p); if(cnt<2) print $0}' "$file" > "$file.tmp" && mv "$file.tmp" "$file"
done

命令说明 #

• 原命令是统计整个文件中WORD1的总出现次数，超过1次就标记文件；修改后的命令改为逐行处理：
  • gsub(p,p)：返回当前行中WORD1的匹配次数（替换为自身不改变内容，仅用于统计），将结果赋值给变量cnt
  • if(cnt<2) print $0：仅保留WORD1出现0次或1次的行，自动过滤掉出现2次及以上的行

内容的提问来源于stack exchange，提问作者rhje