C++中UTF-16 LE BOM转UTF-8的有效实现方案咨询

核心步骤 #

1. 读取UTF-16 LE BOM文件 #

先验证文件开头的BOM标识（0xFF 0xFE），再以二进制模式读取文件内容，确保字节顺序符合小端要求：

#include <fstream>
#include <vector>
#include <string>
#include <stdexcept>

// 读取UTF-16 LE BOM文件到std::u16string
std::u16string read_utf16le_file(const std::string& filename) {
    std::ifstream file(filename, std::ios::binary);
    if (!file.is_open()) {
        throw std::runtime_error("文件打开失败");
    }

    // 验证UTF-16 LE BOM
    unsigned char bom[2];
    file.read(reinterpret_cast<char*>(bom), 2);
    if (bom[0] != 0xFE || bom[1] != 0xFF) {
        throw std::runtime_error("目标文件不是UTF-16 LE BOM编码");
    }

    // 读取剩余内容
    std::vector<char16_t> content_buf;
    char16_t curr_char;
    while (file.read(reinterpret_cast<char*>(&curr_char), sizeof(char16_t))) {
        content_buf.push_back(curr_char);
    }

    return std::u16string(content_buf.begin(), content_buf.end());
}

2. 转换为GUI支持的编码 #

不同GUI框架对编码的支持不同，分两种常见场景处理：

场景1：支持UTF-8的GUI（如Qt、GTK）

将UTF-16字符串转换为UTF-8，直接传入控件即可：

#include <locale>
#include <codecvt>

// UTF-16转UTF-8
std::string utf16_to_utf8(const std::u16string& utf16_str) {
    std::wstring_convert<std::codecvt_utf8_utf16<char16_t>, char16_t> converter;
    return converter.to_bytes(utf16_str);
}

// Qt示例：设置QLabel文本
// QLabel* label = new QLabel;
// label->setText(QString::fromUtf8(utf16_to_utf8(utf16_content).c_str()));

场景2：Windows原生GUI（Win32 API）

Windows API原生支持UTF-16（以wchar_t为载体），直接转换为std::wstring即可：

// std::u16string转std::wstring（Windows平台专属）
std::wstring u16_to_wstring(const std::u16string& utf16_str) {
    return std::wstring(reinterpret_cast<const wchar_t*>(utf16_str.data()), utf16_str.size());
}

// Win32示例：设置窗口文本
// HWND hWnd = CreateWindow(...);
// SetWindowTextW(hWnd, u16_to_wstring(utf16_content).c_str());

关键注意事项 #

• 上述代码基于C++11及以上标准，std::codecvt_utf8_utf16是标准库保留的编码转换工具，未被废弃（旧方案中被标记废弃的是通用的std::codecvt模板）。
• 如果编译器对std::u16string支持有限，可直接用std::wstring读取文件（Windows平台wchar_t为16位，天然适配UTF-16 LE）。
• 确保GUI控件已配置为支持对应编码，避免出现乱码。

内容的提问来源于stack exchange，提问作者Zein