如何使用现代C++标准库将windows-1252编码的std::string转为UTF-8字符串

针对需要解析windows-1252编码CSV、输出UTF-8字符串供Node-API调用的场景，最简洁规范、无兼容问题的实现方式是直接基于固定映射表做转码，不需要依赖第三方库或系统特定API。

为什么不推荐其他常见方案 #

• C11~C17 提供的std::wstring_convert/std::codecvt系列接口已经在C++17标准中被正式废弃，各编译器标准库实现一致性差，且未内置windows-1252编码的转换面，无法直接使用。
• 依赖Windows平台MultiByteToWideChar/WideCharToMultiByte系统API的方案无法跨平台，不适用于需要跨平台编译的node-addon模块。
• 引入iconv、ICU等第三方编码库会增加编译依赖和包体积，对于仅需要转windows-1252单字节编码的场景属于过度设计。

windows-1252是单字节编码，全量有效码位仅256个，其中只有0x80~0x9F区间是和Unicode非一一对应的特殊字符，手写映射转码的代码量极小，性能拉满，且行为完全可控。

可直接复用的实现代码 #

#include <string>
#include <string_view>

// 输入：windows-1252编码的字符串视图
// 输出：标准UTF-8编码std::string，可直接传入Node-API字符串构造接口
std::string win1252_to_utf8(std::string_view input) {
    // windows-1252 0x80~0x9F 区间到Unicode码点的固定映射表
    static constexpr char32_t kWin1252HighMap[32] = {
        0x20AC, 0xFFFD, 0x201A, 0x0192, 0x201E, 0x2026, 0x2020, 0x2021,
        0x02C6, 0x2030, 0x0160, 0x2039, 0x0152, 0xFFFD, 0x017D, 0xFFFD,
        0xFFFD, 0x2018, 0x2019, 0x201C, 0x201D, 0x2022, 0x2013, 0x2014,
        0x02DC, 0x2122, 0x0161, 0x203A, 0x0153, 0xFFFD, 0x017E, 0x0178
    };

    std::string output;
    // 预分配空间：win1252单字符转UTF-8最长占3字节，预分配2倍长度覆盖99%以上场景，减少扩容开销
    output.reserve(input.size() * 2);

    for (unsigned char ch : input) {
        char32_t cp;
        if (ch < 0x80) {
            cp = ch; // 0x00~0x7F与ASCII/Unicode完全一致
        } else if (ch < 0xA0) {
            cp = kWin1252HighMap[ch - 0x80]; // 查特殊区间映射表
        } else {
            cp = ch; // 0xA0~0xFF与Unicode码值一一对应
        }

        // 码点转UTF-8编码
        if (cp < 0x80) {
            output.push_back(static_cast<char>(cp));
        } else if (cp < 0x800) {
            output.push_back(static_cast<char>(0xC0 | (cp >> 6)));
            output.push_back(static_cast<char>(0x80 | (cp & 0x3F)));
        } else {
            output.push_back(static_cast<char>(0xE0 | (cp >> 12)));
            output.push_back(static_cast<char>(0x80 | ((cp >> 6) & 0x3F)));
            output.push_back(static_cast<char>(0x80 | (cp & 0x3F)));
        }
    }

    return output;
}

方案特性 #

• 零额外依赖：仅使用C++标准库能力，全平台兼容，支持Windows/macOS/Linux下的node-addon编译
• 无废弃API：完全符合C++11及之后所有版本的标准规范，不存在未来版本编译失效的风险
• 性能优异：单遍线性扫描，映射表为编译期常量，无多余内存分配，处理GB级CSV文件也不会成为性能瓶颈
• 行为稳定：无效码位统一映射为U+FFFD替换字符，输出的UTF-8字符串严格符合编码规范，不会导致Node-API调用出错

内容的提问来源于stack exchange，提问作者Victor