为何Perl tr///表达式处理引号转换时行为异常？

问题描述 #

尝试用perl -pe 'tr/“”’/""\047/'将文档中的弯双引号“”、弯单引号’转换为中性引号，却出现异常行为：

• 单个“被替换为""'
• 输入“”’时，每个弯引号都被替换成""'，最终输出""'""'""'
• 甚至最简场景echo '“' | perl -pe 'tr/“/"/'也会输出三个"

而处理ASCII字符时tr表现正常：

snafu$ echo "Larry Wall" | perl -pe 'tr/ay/AY/'
LArrY WAll

添加-Mutf8参数后，替换完全失效：

snafu$ echo '“' | perl -Mutf8 -pe 'tr/“”’/""\047/'
“

原因分析 #

1. tr///默认按字节处理，而非Unicode字符 #

Perl的tr///操作符默认以字节为单位处理字符串，而中文弯引号“（U+201C）、”（U+201D）、’（U+2019）都是UTF-8编码的多字节字符，每个占3个字节。

比如输入单个“时，它的UTF-8编码是3个独立字节。此时tr会把这3个字节当作3个单独的匹配项，分别替换为REPLACEMENTLIST中对应位置的内容（若REPLACEMENTLIST长度不足，会重复最后一个字符填充；若过长则截断）。这就导致单个多字节弯引号被拆解成3次替换，最终输出3组替换结果，也就是你看到的重复现象。

2. -Mutf8仅处理脚本编码，不影响输入输出 #

-Mutf8的作用是告知Perl当前执行的脚本（命令行中的代码）是UTF-8编码，让Perl能正确解析脚本中的Unicode字符（比如tr里的“”’）。但它不会改变Perl处理输入输出的编码方式：

• 输入的echo '“'输出的是UTF-8字节流，Perl默认按字节读取，这3个字节被视为3个独立的非Unicode字符；
• 这些字节无法匹配tr中已被解析为Unicode字符的“”’，因此不会触发替换，输出保持原样。

正确解决方案 #

要让tr正确处理Unicode弯引号，需要让Perl将输入、输出都视为UTF-8编码，可使用-CSD参数（指定STDIN、STDOUT、STDERR均采用UTF-8编码）：

替换为中性引号 #

echo '“”’' | perl -CSD -pe 'tr/“”’/""'\''/'

输出：""'

替换为HTML实体 #

echo '“”’' | perl -CSD -pe 'tr/“”’/""'/'

输出：""'

-CSD参数让Perl以UTF-8编码处理所有标准流，此时tr会将弯引号当作单个Unicode字符处理，替换行为完全符合预期。

内容的提问来源于stack exchange，提问作者Reece