Unicode字符串size输出异常（显示19而非7）原因及遍历解决方案

嘿，这个问题我之前踩过坑！咱们先把问题根源搞清楚，再给你两种靠谱的修复方案～

问题根源 #

你遇到的核心问题是：C++的std::string本质是字节容器，不是Unicode字符容器。

你的字符串里的方块字符█是Unicode码点U+2588，在UTF-8编码下每个字符需要占用3个字节。加上开头的1个空格字节，总字节数就是1 + 6*3 = 19，这正是str.size()返回的结果——它统计的是字符串占用的字节数，不是你直觉里的Unicode字符数量。

这也是你没法直接用size来遍历存入vector的原因：按字节遍历会把一个Unicode字符拆成多个片段，根本不是你想要的单个字符。

修复方案 #

下面给你两种实用的解决办法，按需选择：

方案一：手动解析UTF-8编码（兼容C++11及以上） #

UTF-8有明确的编码规则，我们可以根据首字节的二进制特征判断每个Unicode字符的字节长度，然后逐个提取：

#include <iostream>
#include <vector>
#include <string>

using namespace std;

// 把UTF-8字符串拆成单个Unicode字符的字符串集合
vector<string> split_utf8(const string& str) {
    vector<string> unicode_chars;
    size_t idx = 0;
    const size_t str_len = str.size();
    
    while (idx < str_len) {
        unsigned char first_byte = static_cast<unsigned char>(str[idx]);
        size_t char_bytes = 1;
        
        // 根据UTF-8编码规则判断字符字节数
        if (first_byte >= 0xF0) {
            char_bytes = 4;
        } else if (first_byte >= 0xE0) {
            char_bytes = 3;
        } else if (first_byte >= 0xC0) {
            char_bytes = 2;
        }
        
        // 提取当前Unicode字符的字节序列
        unicode_chars.push_back(str.substr(idx, char_bytes));
        idx += char_bytes;
    }
    
    return unicode_chars;
}

int main() {
    string str = " ██████";
    cout << "字节数：" << str.size() << endl; // 输出19
    auto chars = split_utf8(str);
    cout << "Unicode字符数：" << chars.size() << endl; // 输出7
    
    // 验证输出
    for (const auto& ch : chars) {
        cout << ch;
    }
    cout << endl;
    
    return 0;
}

方案二：用C20标准库（推荐，编译器支持C20时） #

C++20引入了对UTF-8的原生支持，std::u8string专门用于存储UTF-8编码的字符串，结合字符特征可以更安全地遍历：

#include <iostream>
#include <vector>
#include <string>
#include <cstddef>

using namespace std;

int main() {
    u8string str = u8" ██████";
    vector<u8string> unicode_chars;
    
    auto it = str.begin();
    const auto end = str.end();
    while (it != end) {
        // 获取当前Unicode字符的结束迭代器
        auto [next_it, char_len] = char_traits<char8_t>::length(it, end);
        unicode_chars.emplace_back(it, next_it);
        it = next_it;
    }
    
    cout << "Unicode字符数：" << unicode_chars.size() << endl; // 输出7
    return 0;
}

额外建议 #

如果你的项目需要频繁处理Unicode字符串，推荐使用成熟的第三方库（比如ICU、Boost.Locale），它们能处理更复杂的场景（比如字符 normalization、不同编码转换），比自己写解析逻辑更可靠。

内容的提问来源于stack exchange，提问作者user10855478