Perl双字节Unicode字符检测脚本失效问题求助

问题核心 #

你提到的x91字符并非标准UTF-8编码，它是Windows-1252编码的左单引号。你的脚本仅设置了脚本自身编码和输出编码，未处理输入文件的编码，导致Perl按原始字节读取文件，无法将该字符识别为Unicode。

具体修改步骤 #

1. 修复语法错误
   脚本中$First = Y;和$First = N;存在错误，Y/N未加单引号，Perl会将其视为未定义常量，需改为：

   my $First = 'Y';
   # ...
   $First = 'N';
   

2. 指定输入文件编码
   使用Perl的三参数open语法，明确指定文件编码为Windows-1252，让Perl自动将字节解码为Unicode字符串：

   open(my $FILE, '<:encoding(windows-1252)', $filename) or die "Could not read from $filename: $!";
   

3. 区分字节长度与字符长度

   • 若$RECL是字节数：需用bytes模块计算长度，避免Unicode字符多字节导致的长度偏差：

     use bytes;
     my $line_length = length($line);
     no bytes;
     

   • 若$RECL是字符数：直接使用length($line)即可。

4. 统一输出编码（可选）
   若需在终端正确显示Unicode字符，添加：

   binmode(STDOUT, ":encoding(UTF-8)");
   

修改后的完整脚本 #

#!/usr/bin/perl
use warnings;
use strict; # 强制变量声明，避免低级错误

# 处理输入参数
@ARGV >= 2 or die "Usage: \n======\n\tperl $0 <Accepted Record Length> <File-Name> 
For example, 
    perl /opt/apps/scripts/IdentUnicodChar.pl 576 <Actual File Name>\n";

my $RECL = $ARGV[0];
my $filename = $ARGV[1];
my $Flag_Print = (@ARGV == 3) ? $ARGV[2] : "NoPrint";

# 打开文件并指定编码（Windows-1252）
open(my $FILE, '<:encoding(windows-1252)', $filename) or die "Could not read from $filename: $!";

my $count = 1;
my $First = 'Y';
while (my $line = <$FILE>) {
    # 计算行长度（按字节数，若需字符数则注释以下3行，直接用length($line)）
    use bytes;
    my $line_length = length($line);
    no bytes;

    if ($line_length != $RECL) {
        if ($Flag_Print eq 'print') {
            print $line;
            print "\n--------------------------- \n";
        }
        if ($First eq 'Y') { 
            $First = 'N';
            print $.;
        } else {
            print ", ";
            print $.;
        }
    }
    $count++;
}
close $FILE;

# 设置输出编码为UTF-8，确保终端正确显示
binmode(STDOUT, ":encoding(UTF-8)");

print "\n";

关键说明 #

• use strict：强制变量声明，避免未定义变量等低级错误，建议长期启用。
• 三参数open：比旧版两参数语法更安全，可避免文件名含特殊字符时的解析问题。
• 编码层：<:encoding(windows-1252)确保Perl将文件字节正确解码为Unicode字符串，特殊字符不再是原始字节。

内容的提问来源于stack exchange，提问作者Vamperl