UTF-8/16/32指针按用户可见字符前进及终止判断的标准C/C++方案

问题核心 #

你给出的代码中，test++直接移动char8_t指针是错误的——UTF-8编码里，一个用户可见字符（Unicode码点）可能占用1~4个char8_t字节，直接自增指针只会移动1字节，会破坏多字节码点的结构，无法正确跳转到下一个可见字符。

标准库现成实现 #

C++20及以上：利用标准库迭代器 #

C++20引入的std::u8string_view迭代器会自动处理UTF-8的多字节码点，++操作直接跳到下一个码点的起始位置。基于此实现advanceUTF8：

#include <string_view>
#include <iterator>

void advanceUTF8(const char8_t*& ptr) {
    auto it = std::u8string_view::iterator(ptr);
    ++it;
    ptr = std::to_address(it);
}

如果需要遍历整个字符串，直接用std::u8string_view的迭代器循环即可，无需手动处理指针移动。

C11及以上：使用<cuchar>标准函数 #

C11提供了mbrtoc32函数，可解析UTF-8字节序列并返回当前码点的字节长度，以此实现指针前进：

#include <cuchar>
#include <cstddef>

void advanceUTF8(const char8_t*& ptr) {
    if (*ptr == u8'\0') return;
    
    char32_t dummy;
    std::mbstate_t state{};
    // 解析当前码点，返回占用的字节数
    size_t byte_len = mbrtoc32(&dummy, reinterpret_cast<const char*>(ptr), 4, &state);
    
    // 处理有效编码的情况，无效编码可根据需求调整逻辑
    if (byte_len != static_cast<size_t>(-1) && byte_len != static_cast<size_t>(-2)) {
        ptr += byte_len;
    } else {
        // 遇到无效UTF-8，跳过当前字节
        ptr += 1;
    }
}

手动实现advanceUTF8（兼容旧标准） #

如果无法使用C11/C++20，可根据UTF-8编码规则手动判断字节长度：
UTF-8编码规则：

• 单字节：0xxxxxxx → 长度1
• 双字节：110xxxxx → 长度2
• 三字节：1110xxxx → 长度3
• 四字节：11110xxx → 长度4
• 后续字节：10xxxxxx → 不能作为起始

实现代码：

void advanceUTF8(const char8_t*& ptr) {
    if (*ptr == u8'\0') return;
    
    if ((*ptr & 0x80) == 0) {
        // 单字节字符
        ptr += 1;
    } else if ((*ptr & 0xE0) == 0xC0) {
        // 双字节字符
        ptr += 2;
    } else if ((*ptr & 0xF0) == 0xE0) {
        // 三字节字符
        ptr += 3;
    } else if ((*ptr & 0xF8) == 0xF0) {
        // 四字节字符
        ptr += 4;
    } else {
        // 无效起始字节，跳过当前字节
        ptr += 1;
    }
}

注意：此实现依赖输入为合法UTF-8字符串，遇到无效编码时的处理逻辑可根据需求调整。

0结尾UTF字符串的终止符判断 #

UTF-8 #

可以直接用*ptr == u8'\0'判断终止——合法UTF-8的多字节码点中不会出现0x00字节，只有终止符本身是单字节0x00，因此遍历判断*ptr != u8'\0'是安全的。

UTF-16 #

终止符是双字节的u'\0'（0x0000），合法UTF-16中代理对（高代理0xD800~0xDBFF、低代理0xDC00~0xDFFF）不会包含0x0000，因此直接判断*ptr != u'\0'即可。但前进指针时需注意：如果当前是高代理字符，需要前进2个char16_t（代理对由两个char16_t组成一个码点）。

UTF-32 #

每个码点对应一个char32_t，终止符是U'\0'，直接判断*ptr != U'\0'即可，前进时ptr++就会跳到下一个用户可见字符。

更优替代方案 #

1. 优先使用标准库组件：C20及以上的std::u8string、std::u8string_view迭代器，C23的std::ranges::views::utf8，这些组件已封装了UTF-8的所有处理细节（包括错误处理），比手动实现更可靠。
2. 避免裸指针遍历：用标准库迭代器遍历字符串，无需手动计算字节长度，代码更简洁安全。
3. C语言场景：使用<cuchar>中的标准函数（如mbrtoc32、mbrtoc16），避免手动编码判断，减少出错概率。

内容的提问来源于stack exchange，提问作者user22925547