AWK配置文件模式匹配替换问题：gsub无法移除特殊字符与空格

核心逻辑 #

• 先对模式文件中的特殊字符做正则转义，避免匹配混乱
• 构建完整单词匹配规则（用AWK的\</\>边界符，部分AWK版本可用\b）
• 基于忽略大小写的规则，批量替换目标字段中的匹配项，最后清理多余空格

AWK脚本实现 #

# 读取模式文件，预处理规则
NR == FNR {
    # 转义正则元字符：. * + ? | ( ) [ ] { } ^ $ \
    gsub(/[.\+\?\|\(\)\[\]\{\}\^\$\]/, "\\&", $0)
    # 构建完整单词匹配的正则，保留原模式的空格
    patterns[tolower($0)] = "\\<" $0 "\\>"
    next
}
# 处理数据文件
{
    field2 = $2
    # 遍历所有模式，忽略大小写批量替换
    for (p in patterns) {
        field2 = gensub(patterns[p], "", "gi", field2)
    }
    # 清理替换后可能出现的首尾/连续空格
    gsub(/^ +| +$|( )+/, "\\1", field2)
    $2 = field2
    print $0
}

执行命令 #

将上述脚本保存为remove_patterns.awk，然后运行：

awk -f remove_patterns.awk list_file1 data_file1

案例演示 #

案例1：含空格、特殊字符的模式匹配 #

list_file1内容：

hello!
world*
 foo bar 

data_file1内容：

1   Hello! World* foo bar test
2   foo bar HELLO! example

处理后输出：

1   test
2   example

案例2：避免部分单词匹配 #

list_file1内容：

cat

data_file1内容：

1   Cat catfish CAT
2   dog cat bird

处理后输出：

1   catfish
2   dog bird

内容的提问来源于stack exchange，提问作者Dev1