如何将uint32_t存储的Unicode码点转换为可读字符串？C++实现

问题根源 #

你之前直接用std::string构造函数转换uint32_t数组的方法之所以失效，是因为std::string本质是字节容器，它会把每个uint32_t类型的码点拆成4个独立字节存储，完全不符合UTF-8/UTF-16等字符编码规则，最终导致显示乱码。

要正确转换，需要把Unicode码点（uint32_t）编码为符合标准的字节序列（通常用UTF-8，兼容大多数场景），再存入字符串。

解决方案 #

方法1：利用C标准库工具（C11及以上） #

通过std::wstring_convert和std::codecvt_utf8<char32_t>实现码点到UTF-8字符串的转换，char32_t类型天然对应Unicode码点：

#include <string>
#include <codecvt>
#include <locale>

// 单个Unicode码点转UTF-8字符串
std::string codepoint_to_utf8(uint32_t codepoint) {
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> converter;
    return converter.to_bytes(static_cast<char32_t>(codepoint));
}

// uint32_t码点数组转UTF-8字符串
std::string codepoints_to_utf8(const uint32_t* codepoints, size_t count) {
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> converter;
    std::u32string u32_str(reinterpret_cast<const char32_t*>(codepoints), count);
    return converter.to_bytes(u32_str);
}

注意：std::wstring_convert在C++17中被标记为弃用，但主流编译器（GCC、Clang、MSVC）仍提供支持。

方法2：手动实现UTF-8编码（无依赖、兼容性强） #

如果不想依赖弃用的标准库组件，可以手动实现Unicode码点到UTF-8的编码逻辑，还能自定义非法码点的处理规则：

#include <string>

// 单个Unicode码点转UTF-8字节序列
std::string codepoint_to_utf8(uint32_t cp) {
    std::string result;
    // 处理合法码点范围（0x0000~0x10FFFF）
    if (cp > 0x10FFFF) {
        // 非法码点，替换为U+FFFD标准替换字符
        return "\xEF\xBF\xBD";
    }
    if (cp <= 0x7F) {
        // 1字节UTF-8
        result += static_cast<char>(cp);
    } else if (cp <= 0x7FF) {
        // 2字节UTF-8
        result += static_cast<char>(0xC0 | ((cp >> 6) & 0x1F));
        result += static_cast<char>(0x80 | (cp & 0x3F));
    } else if (cp <= 0xFFFF) {
        // 3字节UTF-8
        result += static_cast<char>(0xE0 | ((cp >> 12) & 0x0F));
        result += static_cast<char>(0x80 | ((cp >> 6) & 0x3F));
        result += static_cast<char>(0x80 | (cp & 0x3F));
    } else {
        // 4字节UTF-8（支持超出BMP的码点，比如emoji）
        result += static_cast<char>(0xF0 | ((cp >> 18) & 0x07));
        result += static_cast<char>(0x80 | ((cp >> 12) & 0x3F));
        result += static_cast<char>(0x80 | ((cp >> 6) & 0x3F));
        result += static_cast<char>(0x80 | (cp & 0x3F));
    }
    return result;
}

// 码点数组转UTF-8字符串
std::string codepoints_to_utf8(const uint32_t* codepoints, size_t count) {
    std::string result;
    for (size_t i = 0; i < count; ++i) {
        result += codepoint_to_utf8(codepoints[i]);
    }
    return result;
}

使用示例 #

#include <iostream>

int main() {
    // 单个码点测试（U+1F600笑脸emoji，超出BMP范围）
    uint32_t smiley = 0x1F600;
    std::string smiley_str = codepoint_to_utf8(smiley);
    std::cout << smiley_str << std::endl;

    // 码点数组测试（对应"你好😀"）
    uint32_t codepoints[] = {0x4F60, 0x597D, 0x1F600};
    std::string str = codepoints_to_utf8(codepoints, 3);
    std::cout << str << std::endl;
    return 0;
}

内容的提问来源于stack exchange，提问作者Ru Din