C++中UTF-8字符转二进制出错，求错误原因与正确实现方式

原代码的核心问题 #

你写的代码本质是把std::string里的每个UTF-8编码字节转成8位二进制，而非把Unicode码位转成二进制。

原因很简单：在C++中，std::string默认存储的是UTF-8编码的字节序列。像韩语字符"가"的Unicode码位是U+AC00，但它的UTF-8编码是3个字节：0xEA、0xB0、0x80，转成二进制就是11101010 10110000 10000000——这正是你看到的输出。而你想要的1010110000000000是U+AC00这个码位本身的16位二进制值，两者完全是不同的概念。

修正思路：先解码UTF-8到Unicode码位，再转二进制 #

要得到Unicode码位的二进制，得先把UTF-8字符串解码成单个的Unicode码位（用char32_t类型存储，每个值对应一个完整的码位），再把每个码位转成二进制字符串。

基于C++11标准库的实现 #

#include <iostream>
#include <string>
#include <bitset>
#include <codecvt>
#include <locale>

int main() {
    std::string message = "가";
    std::u32string unicode_codepoints;

    // 把UTF-8的std::string转成存储Unicode码位的std::u32string
    std::wstring_convert<std::codecvt_utf8<char32_t>, char32_t> converter;
    try {
        unicode_codepoints = converter.from_bytes(message);
    } catch (const std::range_error& e) {
        std::cerr << "无效的UTF-8字符" << std::endl;
        return 1;
    }

    std::string binaryString;
    for (char32_t codepoint : unicode_codepoints) {
        // 根据码位的实际长度确定二进制位数，这里以16位为例（覆盖大部分常用字符）
        // 如果要支持所有Unicode码位（最大21位），可以用bitset<21>
        binaryString += std::bitset<16>(codepoint).to_string();
        // 可选：添加空格分隔不同码位的二进制
        binaryString += " ";
    }

    std::cout << binaryString << std::endl;
    return 0;
}

这段代码运行后，会输出1010110000000000 ，和你预期的结果一致。

更简便的C++20方案 #

C20引入了更完善的字符编码库，如果你能用C20及以上版本，可以用更简洁的方式处理：

#include <iostream>
#include <string>
#include <format>
#include <ranges>
#include <utf8>

int main() {
    std::string message = "가";
    std::string binaryString;

    // 遍历每个Unicode码位
    for (char32_t codepoint : std::views::utf8(message)) {
        // 格式化二进制字符串，补前导零到16位
        binaryString += std::format("{:016b} ", codepoint);
    }

    std::cout << binaryString << std::endl;
    return 0;
}

额外说明 #

• 如果需要输出码位的完整二进制长度（而非固定16位），可以计算码位的二进制位数后再生成对应长度的字符串，比如用位运算判断有效位数后拼接前导零。
• 注意处理无效的UTF-8字符，避免程序崩溃，上面的代码中已经加入了异常捕获逻辑。

内容的提问来源于stack exchange，提问作者KnightChaser