C++ 如何正确从含多字节特殊字符的std::string提取字符并存入另一std::string

你碰到的乱码本质是std::string的设计特性导致的：它本质是一个连续的char类型字节序列容器，本身完全不感知上层的编码规则。像á这类带重音的拉丁字符，在当前项目常用的UTF-8编码下，是由2个连续字节组成的多字节码点，你直接按单字节的方式用test.at()截取，自然会把完整的字符拆成孤立的无效字节，最终输出乱码。

针对你给的测试用例，"márcos"的实际字节布局是：

• 第0位字节：ASCII编码的m，长度1字节
• 第1、2位连续字节：UTF-8编码的á，总长度2字节
• 第3位字节：ASCII编码的r
  所以你原来的代码取test.at(1)、test.at(2)拿到的是被拆开的、不完整的无效字节，自然无法输出正确的á，等取到test.at(3)的时候已经到了后面的r字符，和你预期的字符位置完全错位。

1. 按UTF-8编码规则切分完整字符片段 #

如果你的字符串统一用UTF-8编码存储，可以直接按照UTF-8的固定编码规则识别多字节序列的边界，切分得到每个完整的独立字符。

• UTF-8的固定识别规则：
  • 单字节字符最高位为0，占用1个字节
  • 多字节字符的首字节高位全为1，后续连续的组成字节均以0b10作为开头标识
    顺着这个规则就可以准确把连续字节串拆成独立的字符片段，示例实现如下：

#include <string>
#include <vector>

std::vector<std::string> split_utf8_chars(const std::string& input) {
    std::vector<std::string> result;
    size_t cursor = 0;
    while (cursor < input.size()) {
        unsigned char byte = static_cast<unsigned char>(input[cursor]);
        size_t char_length = 1;
        // 识别当前字符的总字节长度
        if (byte >= 0xC0 && byte < 0xE0) char_length = 2;
        else if (byte >= 0xE0 && byte < 0xF0) char_length = 3;
        else if (byte >= 0xF0) char_length = 4;
        // 截取完整的字符字节序列存入结果
        result.push_back(input.substr(cursor, char_length));
        cursor += char_length;
    }
    return result;
}

用上面的切分函数拿到完整的字符列表后，直接访问列表的对应索引，就能得到你原来代码里预期的char1="m"、char2="á"、char3="r"、char4="c"的效果。

2. 借助标准库的编码转换能力处理复杂场景 #

如果需要兼容更多字符集、不想手动维护编码识别逻辑，可以用C++标准库提供的编码转换接口：

• 先把UTF-8编码的std::string转换为能表示单个完整码点的宽字符串std::wstring，遍历每个独立码点后，再按需转换回UTF-8格式的std::string片段存储即可。
• 注意这个方案需要匹配运行环境的宽字符编码：Windows平台下wchar_t默认是UTF-16编码，Linux/macOS平台下默认是UTF-32编码，转换时要对应配置编码规则。

常见误区提醒：不要默认std::string::at或者方括号下标能直接拿到“一个字”，这些接口的返回值永远是单个字节，只要碰到多字节编码的特殊字符，直接截取必然出错。

内容的提问来源于stack exchange，提问作者Yukhy