Perl中如何创建包含UTF-8与原始字节的混合编码标量字符串

问题背景 #

我在编写Perl脚本时需要输出UTF-8字符与原始字节的混合内容，现有一个全量按UTF-8编码的大字符串：其中正常UTF-8字符为合法UTF-8字节序列，原始字节被存储为对应字节值的Unicode码点，比如原始字节0xff会被存储为UTF-8合法序列0xc3 0xbf，回写时需要将这类原始字节恢复为单字节形式。我可通过字段、类型、长度列表等数据结构区分字符串各段的内容类型。

之前写入普通文件时，我逐字段处理：UTF-8内容直接写入，原始字节内容编码为ISO-8859-1后写入，运行正常。现在我需要将整段内容作为单条记录写入BerkeleyDB数据库，要求单次写入完整记录，因此需要构造一个同时包含UTF-8和原始字节的标量。

问题示例 #

输入标量的十六进制值为61 C3 8B 00 C3 BF，要求输出为2个UTF-8字符加2个原始字节，预期输出十六进制为61 C3 8B 00 FF。 #

错误尝试 #

• 直接拼接两类内容生成字符串，写入未指定编码的文件时，所有大于0x7f的原始字节都变成了?，显然是Perl将整个字符串识别为UTF-8处理了。
• 尝试将UTF-8部分编码为UTF-8、原始字节部分编码为ISO-8859-1后再拼接，这次原始字节输出正常，但原本的UTF-8内容被二次编码：多字节字符的每个字节都被当作独立码点处理。

疑问点 #

我原本以为如果Perl内部标量被标记为UTF-8，就不会对内部UTF-8内容重复编码。我的源UTF-8字符串来自C API，按理应该已经设置了UTF-8标记告知Perl该内容已完成解码。

• 操作哪里存在错误？
• 有没有办法告知Perl直接按顺序拼接字节序列，不对内容做额外编码解析？
• 文件可指定>:raw模式打开，有没有方法将指定标量标记为"raw"类型？

最终排查结论 #

问题根源出在C端代码：$bigInputString本应全为UTF-8编码内容，但C代码存在bug：有符号char类型判断值是否大于127时逻辑出错，导致大于127的字节没有被转换为双字节UTF-8序列，源字符串本身不符合预期，Perl处理报错属于正常行为。

修复C端bug后，UTF-8段和需要转回单字节的原始字节段编码都正常，问题得到解决。

调试经验 #

调试过程中Devel::Peek工具起到了很大作用，也提醒大家不要做预设假设，遇到问题要逐一核查。 #

内容的提问来源于stack exchange，提问作者Kzwix