Perl中Text::CSV引发UTF-8编码混乱的原因与解决办法

我有一个包含UTF-8格式CSV的多行$string变量，直接按文件句柄打开打印内容时：

open(my $fh, "<", \$string);
$/=undef;
say <$fh>;

通过hexdump验证，文本为标准UTF-8格式（字符É对应字节序列c3 89）。

但使用Text::CSV读取该字符串后执行输出：

my $csv = Text::CSV->new({ binary => 1, auto_diag => 1 });
my $line;
$csv->say(*STDOUT, $line) while ($line = $csv->getline($fh));

字符É对应的输出字节变成了c9（对应Unicode码点U+00C9），打印到UTF-8终端时显示为�乱码。使用环境为Perl 5.28.0。

问题：为什么Text::CSV会修改编码？如何避免？ #

原因与解决方案 #

Text::CSV会将读取的UTF-8字节串转换为Perl内部Unicode字符串格式，若直接输出到UTF-8终端，Perl默认不会自动将内部字符串编码为UTF-8字节流，导致终端解析错误出现乱码。

解决步骤：

• 在主程序开头添加指令：use open ':std', ':encoding(UTF-8)'，该指令会设置标准输入、输出、错误流默认使用UTF-8编码/解码，确保输出时将Perl内部字符串重新编码为UTF-8字节序列。
• 所有包含UTF-8字面量的源文件需添加use utf8，让Perl将代码中的UTF-8字面量转换为内部Unicode格式，避免"É" eq $some_var这类字符串比较操作失败。
• 避免堆叠解码：添加上述open指令后，移除其他手动设置的编码相关指令，防止重复解码导致的编码错误。

测试案例验证 #

以下命令可直观理解编码转换逻辑：

1. 未启用use utf8时，字符串字面量直接以UTF-8字节形式输出：

# 未转换为Perl内部字符串格式
$ perl -M'5.28.0' -e 'say "É"' | hexdump -C
00000000  c3 89 0a                                          |...|
00000003

2. 启用use utf8但未设置输出编码时，内部Unicode字符串直接输出码点字节，导致终端乱码：

# 字符串字面量转为Perl内部格式，但输出未转换到终端，显示为�
$ perl -Mutf8 -M'5.28.0' -e 'say "É"' | hexdump -C
00000000  c9 0a                                             |..|
00000002

3. 同时启用use utf8和输出编码设置时，内部字符串会被正确编码为UTF-8输出：

# 字符串字面量转为Perl内部格式，且输出进行转换
$ perl -Mutf8 -M'open ":std", ":encoding(UTF-8)"' -M'5.28.0' -e 'say "É"' |hexdump -C
00000000  c3 89 0a                                          |...|
00000003

4. 完整输入输出流程验证：输入被解码为内部格式，输出时重新编码为UTF-8，过程完全透明：

# 输入解码后输出重新编码，过程完全透明，use utf8在此示例中无影响
$ echo É | perl -Mutf8 -M'open ":std", ":encoding(UTF-8)"' -M'5.28.0' -pne '' |hexdump -C
00000000  c3 89 0a                                          |...|
00000003

处理UTF-8内容时，必须接受字符串会被转换为Perl内部Unicode格式的事实，通过设置全局编码规则确保输入输出的编码一致性。

内容的提问来源于Stack Exchange，提问作者Philippe A.