如何使用awk替换含&符号的文本？解决替换结果异常问题

问题描述 #

尝试用awk替换文件中的文本时，遇到含&符号的替换值无法正常工作的问题。示例脚本如下：

#!/bin/bash

test_file="test.md"
key="KEY"
value="- & -"

echo "AAA $key AAA" > "$test_file"
echo "Original: $(cat "$test_file")"

tmp=$(mktemp)
awk -v s="$key" -v r="$value" '{sub(s,r)}1' "$test_file" > "$tmp" && mv "$tmp" "$test_file"
echo "Updated: $(cat "$test_file")"

rm "$test_file"

预期输出：

Original: AAA KEY AAA
Updated: AAA - & - AAA

实际异常输出：

Original: AAA KEY AAA
Updated: AAA - KEY - AAA

尝试通过ARGV传递参数的写法也无效：

awk '
BEGIN { s=ARGV[1]; r=ARGV[2]; delete ARGV[1]; delete ARGV[2]; }
{ sub(s,r) }1
END {}' "$key" "$value" "$test_file" > "$tmp" && mv "$tmp" "$test_file"

问题原因 #

在awk的sub()或gsub()函数中，替换字符串里的&是特殊字符，会被自动替换为匹配到的原字符串（即示例中的KEY）。因此直接使用- & -作为替换值时，&会被替换成KEY，导致结果不符合预期。

解决方案 #

需要将替换值中的&转义为\&，让awk将其当作普通字符处理，有两种可行方式：

方式1：在bash层面提前转义& #

修改value的定义，将&转义为\\&（bash中\需要额外转义）：

#!/bin/bash

test_file="test.md"
key="KEY"
value="- \\& -"  # 转义&为\&

echo "AAA $key AAA" > "$test_file"
echo "Original: $(cat "$test_file")"

tmp=$(mktemp)
awk -v s="$key" -v r="$value" '{sub(s,r)}1' "$test_file" > "$tmp" && mv "$tmp" "$test_file"
echo "Updated: $(cat "$test_file")"

rm "$test_file"

如果value是动态生成的，可以用printf和sed统一处理转义：

escaped_value=$(printf '%s' "$value" | sed 's/\\/\\\\/g; s/&/\\&/g')

之后将escaped_value传递给awk即可。

方式2：在awk内部转义& #

在awk脚本中先对替换值r进行处理，将&替换为\\&（awk字符串中\需要双重转义）：

#!/bin/bash

test_file="test.md"
key="KEY"
value="- & -"

echo "AAA $key AAA" > "$test_file"
echo "Original: $(cat "$test_file")"

tmp=$(mktemp)
awk -v s="$key" -v r="$value" '{gsub(/&/, "\\\\&", r); sub(s,r)}1' "$test_file" > "$tmp" && mv "$tmp" "$test_file"
echo "Updated: $(cat "$test_file")"

rm "$test_file"

对于用ARGV传递参数的写法，同样在BEGIN块中添加转义处理：

awk '
BEGIN { 
    s=ARGV[1]; 
    r=ARGV[2]; 
    gsub(/&/, "\\\\&", r);  # 内部转义&
    delete ARGV[1]; 
    delete ARGV[2]; 
}
{sub(s,r)}1' "$key" "$value" "$test_file" > "$tmp" && mv "$tmp" "$test_file"

内容的提问来源于stack exchange，提问作者Kjuly