mb_substitute_character在mb_convert_encoding中对超编码范围字符失效问题

核心原因 #

你遇到的问题根源在于：mb_convert_encoding 默认处理输入编码时，不会将超出ASCII范围的字节判定为无效字符，而是将其当作 Latin-1（ISO-8859-1）字符直接转码。具体来说，0x81 字节会被识别为 Unicode U+0081 字符，转成 UTF-8 后就是 0xc2 0x81，因此不会触发 mb_substitute_character('long') 的替换逻辑。

解决方法 #

要让替换规则生效，需要在输入编码后添加 //SUBSTITUTE 后缀，明确告诉 mbstring 对输入编码中的无效字符执行替换操作。修改后的测试脚本如下：

$setting_result = mb_substitute_character('long');
$decodedText = 'a'.chr(0x81).'b';
// 输入编码指定为 ASCII//SUBSTITUTE
print(mb_convert_encoding($decodedText, 'UTF-8', 'ASCII//SUBSTITUTE'));

验证结果 #

运行修改后的脚本，输出会变为 ab，其中  就是你预期的长格式替换字符。通过 od 命令查看的话，输出字节序列会包含表示该实体的 ASCII 字符：

$ php test.php | od -c -t x1
0000000   a   &   #   x   8   1   ;   b
         61  26  23  78  38  31  3b  62

补充说明 #

• mb_substitute_character('long') 会将无效字符替换为 XML 风格的 Unicode 实体（如 &#xHHHH;），但该规则仅在输入编码明确启用替换机制时才会触发。
• 除了 //SUBSTITUTE，mbstring 还支持 //IGNORE（忽略无效字符）、//TRANSLIT（音译替换）等后缀，可根据需求选择。

内容的提问来源于stack exchange，提问作者seweryn626