Perl中如何移除ASCII字符串内双字节UTF-8字符的重音符号

所有Unicode处理逻辑失效的核心原因：JSON::Parse默认返回UTF-8编码的字节串，而非Perl内部格式的Unicode字符串。
你看到的\xc3\xa9就是UTF-8编码下é的标准双字节表示，直接把这种字节串传入Unicode::Normalize、Text::Unidecode等Unicode处理模块时，模块会把每个单独字节识别为独立的Latin-1字符，根本无法识别出完整的带重音Unicode字符，自然无法完成去重音操作。你之前尝试的UTF-16转码逻辑方向完全错误，输入本身已经是UTF-8编码，转其他编码解决不了“字符串未解码为Unicode格式”的核心问题。

核心原则：所有Unicode文本处理操作，必须在解码后的Perl内部Unicode字符串上执行，不要直接在UTF-8字节串上做操作。

方案1：从JSON解析阶段直接获取Unicode字符串（推荐） #

JSON::Parse本身内置了解码开关，开启后解析结果直接返回可用的Unicode字符串，从源头避免字节串问题：

use JSON::Parse;
use Unicode::Normalize qw(NFKD);

# 初始化解析器时开启UTF-8自动解码
my $parser = JSON::Parse->new();
$parser->utf8(1);
# 解析服务端返回的原始JSON内容，结果里的字符串已经是标准Unicode格式
my $resp_data = $parser->parse($raw_json_content);

# 去重音逻辑可正常生效
sub strip_accents {
    my ($text) = @_;
    # NFKD兼容性分解：把带重音的单字符拆分为「基础ASCII字符 + 独立重音组合标记」
    my $decomposed = NFKD($text);
    # 移除所有非占位的组合重音标记
    $decomposed =~ s/\p{NonspacingMark}//g;
    return $decomposed;
}

方案2：拿到字节串后先解码再处理 #

如果不方便调整JSON解析器配置，可以在处理字符串前，手动把UTF-8字节串解码为Unicode字符串，再执行去重音：

use Encode qw(decode);
use Unicode::Normalize qw(NFKD);

sub strip_accents {
    my ($byte_text) = @_;
    # 先将UTF-8字节串解码为Perl内部Unicode字符串，遇到非法字节直接报错
    my $unicode_text = decode('UTF-8', $byte_text, Encode::FB_CROAK);
    my $decomposed = NFKD($unicode_text);
    $decomposed =~ s/\p{NonspacingMark}//g;
    return $decomposed;
}

扩展方案：全字符集转ASCII #

如果需要把所有非ASCII字符（不止西语重音字符，还包括其他语种字符）转为接近的ASCII表示，可以用Text::Unidecode，注意传入参数必须是解码后的Unicode字符串：

use Text::Unidecode;
# $unicode_text是解码后的Unicode字符串，不要直接传入UTF-8字节串
my $ascii_text = unidecode($unicode_text);

这个方法可以直接把é转为e、á转为a、ñ转为n、ü转为u，不需要自己维护重音字符映射表。

你当前用s/\xc3\xa9/e/g这类字节层面的替换，本质是绕开了解码步骤直接改字节，虽然能处理你碰到的少量字符，但不可能枚举所有带重音字符的UTF-8字节组合，漏判率极高，完全没有扩展性。

内容的提问来源于stack exchange，提问作者WhyNine