Perl 5.18.2在UTF-8环境下的字符串编码输出问题

问题本质 #

Perl字符串分为字节串和Unicode字符串两种类型，你的问题核心是IO时未统一编码规则，导致字符串类型不匹配，引发长度统计错误、输出/写入乱码。

终端输出乱码的解决 #

问题原因 #

用<:encoding(UTF-8)读取文件时，Perl将内容解析为Unicode字符串（内部存储为Unicode码点），但PuTTY终端期望接收UTF-8编码的字节串。若输出句柄未显式设置UTF-8编码，Perl会用默认编码（多为ISO-8859-1）转换Unicode字符，导致乱码。

而去掉:encoding(UTF-8)时，读入的是原始UTF-8字节串，直接输出到UTF-8终端无需转换，所以显示正常，但length统计的是字节数（"Gemäß"的UTF-8字节数为7），而非实际字符数（5）。

解决步骤 #

1. 显式设置标准输出句柄的UTF-8编码：

   use Encode;
   binmode STDOUT, ':encoding(UTF-8)';
   

2. 或全局设置所有输出文件句柄的编码（包括STDOUT）：

   use open OUT => ':encoding(UTF-8)';
   

写入文件乱码的解决 #

问题原因 #

修复长度问题后，你处理的是Unicode字符串。若写入文件时未设置编码，Perl会将Unicode码点按默认编码（ISO-8859-1）转换为字节写入，比如ü（Unicode码点U+00FC）被转成单字节0xfc，ß（U+00DF）转成0xdf——这两个字节在UTF-8中是无效序列，所以读取时显示为▒▒。

解决步骤 #

1. 打开输出文件时显式指定UTF-8编码：

   open my $out_fh, '>:encoding(UTF-8)', 'output_file.txt' or die $!;
   print $out_fh $processed_str;
   close $out_fh;
   

2. 或全局统一输入输出的UTF-8编码（推荐，避免重复设置）：

   use open IO => ':encoding(UTF-8)';
   # 后续读写文件无需再指定编码，自动处理Unicode字符串与UTF-8字节串的转换
   

关键注意事项 #

• use utf8仅用于声明Perl脚本源代码本身是UTF-8编码，与文件IO的编码转换无关，单独使用无法解决你的问题。
• 可通过Encode::is_utf8()判断字符串类型（需use Encode）：

  print Encode::is_utf8($str) ? "Unicode字符串" : "字节串";
  

• 确认PuTTY配置：Window->Translation中Remote character set设为UTF-8，Connection->Data的Terminal-type string设为xterm或xterm-256color，避免终端编码协商异常。

内容的提问来源于stack exchange，提问作者U. Windl