如何在Perl中移除非UTF-8字符？附代码示例

针对你提供的字符串，以下几种方法可以移除其中的无效UTF-8序列，得到期望的good输出：

方法1：利用Encode模块的错误处理选项 #

Perl的Encode模块在解码时支持错误处理策略，使用Encode::FB_EMPTY可以将无效的UTF-8序列直接替换为空字符串：

use Encode;
my $str = "good\x{c3}\x{82}\x{c2}\x{92}";
my $data = decode('utf8', $str, Encode::FB_EMPTY);
print $data; # 输出: good

如果需要保留有效字符并跳过错误位置继续解码，该选项也能自动完成逻辑，无需额外处理。

方法2：正则表达式匹配并保留有效UTF-8字符 #

通过正则表达式精准匹配合法的UTF-8字节序列，移除所有不符合规则的无效字节：

my $str = "good\x{c3}\x{82}\x{c2}\x{92}";
# 匹配并保留有效UTF-8字符，删除其余无效字节
$str =~ s/
    (?:
        [\x00-\x7F]                  # 单字节ASCII字符
      | [\xC2-\xDF][\x80-\xBF]       # 双字节UTF-8字符
      | [\xE0-\xEF][\x80-\xBF]{2}    # 三字节UTF-8字符
      | [\xF0-\xF7][\x80-\xBF]{3}    # 四字节UTF-8字符
    )(*SKIP)(*FAIL)                  # 跳过有效字符，不执行替换
    | .                              # 匹配所有无效字节
//xg;
print $str; # 输出: good

方法3：重新编码过滤无效序列 #

先将字符串重新编码为UTF-8（忽略错误），再解码，通过编码过程自动过滤无效序列：

use Encode;
my $str = "good\x{c3}\x{82}\x{c2}\x{92}";
my $clean_str = decode('utf8', encode('utf8', $str, Encode::FB_EMPTY));
print $clean_str; # 输出: good

这种方式适合处理已标记为UTF-8但混杂无效字节的字符串，通过编码-解码的闭环完成清理。

内容的提问来源于stack exchange，提问作者AnkMira_882