在C++中如何将多字节UTF-8字符转换为单个Unicode十六进制表示？

你需要的不是把多字节相加或直接拼接成大数，而是将多字节序列（比如UTF-8）解码为对应的Unicode码点——这个码点才是用来和Unicode范围比较的单个值。

举个例子，字符“詳”的UTF-8字节是E8 A9 B3，对应的Unicode码点是U+8A73（十进制35443），这才是你需要的单个十六进制值。直接相加字节（E8+A9+B3=580）或者把字节拼接成0xE8A9B3（十进制15230387）都是错误的，因为UTF-8是对Unicode码点的编码，不是码点的直接二进制存储。

两种实现方式： #

1. 使用C标准库（推荐，C11及以上）

利用标准库的编码转换工具，直接将UTF-8字符串转成UTF-32格式，每个元素就是一个Unicode码点（char32_t类型，本质是uint32_t）：

#include <iostream>
#include <string>
#include <codecvt>

int main() {
    std::string utf8_str = "詳";
    // UTF-8转UTF-32，每个字符对应一个Unicode码点
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> converter;
    std::u32string u32_str = converter.from_bytes(utf8_str);
    
    if (!u32_str.empty()) {
        char32_t codepoint = u32_str[0];
        std::cout << "Unicode码点: U+" << std::hex << static_cast<uint32_t>(codepoint) << std::endl;
        
        // 示例：判断是否在CJK统一表意文字范围（U+4E00 ~ U+9FFF）
        if (codepoint >= 0x4E00 && codepoint <= 0x9FFF) {
            std::cout << "该字符属于CJK统一表意文字" << std::endl;
        }
    }
    return 0;
}

注意：std::wstring_convert在C17中被标记为废弃，但主流编译器（GCC、Clang、MSVC）仍支持。如果需要更现代的方案，可以使用C20的<format>和<charconv>。

2. 手动解析UTF-8字节序列（理解原理用）

根据UTF-8的编码规则手动解码，适合需要底层控制的场景：

UTF-8编码规则：

• 单字节：0xxxxxxx → 码点 = 字节本身
• 双字节：110xxxxx 10xxxxxx → 码点 = ((byte1 & 0x1F) << 6) | (byte2 & 0x3F)
• 三字节：1110xxxx 10xxxxxx 10xxxxxx → 码点 = ((byte1 & 0x0F) << 12) | ((byte2 & 0x3F) << 6) | (byte3 & 0x3F)
• 四字节：11110xxx 10xxxxxx 10xxxxxx 10xxxxxx → 码点 = ((byte1 & 0x07) << 18) | ((byte2 & 0x3F) << 12) | ((byte3 & 0x3F) << 6) | (byte4 & 0x3F)

对应代码：

#include <iostream>
#include <string>
#include <cstdint>

char32_t utf8_to_codepoint(const std::string& utf8_char) {
    if (utf8_char.empty()) return 0;
    uint8_t b1 = static_cast<uint8_t>(utf8_char[0]);
    
    if ((b1 & 0x80) == 0) { // 单字节ASCII
        return b1;
    } else if ((b1 & 0xE0) == 0xC0) { // 双字节UTF-8
        if (utf8_char.size() < 2) return 0;
        uint8_t b2 = static_cast<uint8_t>(utf8_char[1]);
        return ((b1 & 0x1F) << 6) | (b2 & 0x3F);
    } else if ((b1 & 0xF0) == 0xE0) { // 三字节UTF-8（比如中文）
        if (utf8_char.size() < 3) return 0;
        uint8_t b2 = static_cast<uint8_t>(utf8_char[1]);
        uint8_t b3 = static_cast<uint8_t>(utf8_char[2]);
        return ((b1 & 0x0F) << 12) | ((b2 & 0x3F) << 6) | (b3 & 0x3F);
    } else if ((b1 & 0xF8) == 0xF0) { // 四字节UTF-8（比如emoji）
        if (utf8_char.size() < 4) return 0;
        uint8_t b2 = static_cast<uint8_t>(utf8_char[1]);
        uint8_t b3 = static_cast<uint8_t>(utf8_char[2]);
        uint8_t b4 = static_cast<uint8_t>(utf8_char[3]);
        return ((b1 & 0x07) << 18) | ((b2 & 0x3F) << 12) | ((b3 & 0x3F) << 6) | (b4 & 0x3F);
    }
    return 0; // 无效UTF-8序列
}

int main() {
    std::string utf8_char = "詳";
    char32_t codepoint = utf8_to_codepoint(utf8_char);
    std::cout << "Unicode码点: U+" << std::hex << static_cast<uint32_t>(codepoint) << std::endl;
    
    // 范围比较示例
    if (codepoint >= 0x4E00 && codepoint <= 0x9FFF) {
        std::cout << "该字符属于CJK统一表意文字范围" << std::endl;
    }
    return 0;
}

关键结论： #

• 多字节字符是Unicode码点的编码结果，不是码点本身，必须解码才能得到用于范围比较的单个值。
• 解码后得到的char32_t类型值就是Unicode码点的十六进制表示，可以直接和目标范围（比如0x4E00到0x9FFF）做数值比较。

内容的提问来源于stack exchange，提问作者adoDojo