如何从std::wcin获取有效系统编码字符串？Windows非ASCII字符读取问题

原代码的核心问题在于控制台编码未配置、C++流未同步Locale、Locale未指定UTF编码，导致非ASCII字符读取/转换异常。以下是针对Windows及跨平台场景的修复方案：

1. Windows平台单独修复 #

步骤说明 #

• 先将Windows控制台的输入输出编码切换为UTF-16（匹配宽字符流的编码）
• 同步C++宽字符流的Locale设置，确保编码转换正常

修复后代码 #

#include <iostream>
#include <string>
#include <locale>
#ifdef _WIN32
#include <windows.h>
#endif

template<class T> std::string toBytes(T obj) {
    // 实现宽字符到UTF-8字节的转换逻辑，例如：
    if constexpr (std::is_same_v<T, wchar_t>) {
        char buf[4];
        int len = WideCharToMultiByte(CP_UTF8, 0, &obj, 1, buf, sizeof(buf), nullptr, nullptr);
        return std::string(buf, len);
    }
    return "";
}

int main() {
#ifdef _WIN32
    // 配置控制台为UTF-16编码
    SetConsoleCP(CP_UTF16);
    SetConsoleOutputCP(CP_UTF16);
#endif

    // 设置全局Locale为UTF兼容类型
    std::setlocale(LC_ALL, "");
    // 同步宽字符流的Locale，确保编码转换生效
    std::wcin.imbue(std::locale(""));
    std::wcout.imbue(std::locale(""));

    std::wstring ws;
    std::getline(std::wcin, ws);
    for (auto c : ws) {
        std::wcout << toBytes(c) << L' ' << L'(' << (int)c << L", \'" << c << L"\')" << std::endl;
    }
    return 0;
}

2. 跨平台兼容方案（Windows/UNIX通用） #

宽字符在不同平台有编码差异（Windows为UTF-16，UNIX为UTF-8），推荐统一用UTF-8窄字符处理，避免平台适配复杂度：

修复后代码 #

#include <iostream>
#include <string>
#include <locale>
#ifdef _WIN32
#include <windows.h>
#endif

// 通用读取函数：支持文件/stdin输入
std::string read_input(std::istream& is) {
    std::string content;
    std::string line;
    while (std::getline(is, line)) {
        content += line + "\n";
    }
    return content;
}

// 辅助函数：将UTF-8字节转换为Unicode码点
unsigned int utf8_to_codepoint(const char*& ptr) {
    unsigned char c = *ptr++;
    if (c < 0x80) return c;
    if (c < 0xE0) return ((c & 0x1F) << 6) | (*ptr++ & 0x3F);
    if (c < 0xF0) return ((c & 0x0F) << 12) | ((*ptr++ & 0x3F) << 6) | (*ptr++ & 0x3F);
    return ((c & 0x07) << 18) | ((*ptr++ & 0x3F) << 12) | ((*ptr++ & 0x3F) << 6) | (*ptr++ & 0x3F);
}

int main() {
#ifdef _WIN32
    // Windows控制台切换为UTF-8编码
    SetConsoleCP(CP_UTF8);
    SetConsoleOutputCP(CP_UTF8);
    std::cin.imbue(std::locale(".UTF8"));
    std::cout.imbue(std::locale(".UTF8"));
#else
    // UNIX平台设置UTF-8 Locale
    std::setlocale(LC_ALL, "en_US.UTF-8");
    std::cin.imbue(std::locale("en_US.UTF-8"));
    std::cout.imbue(std::locale("en_US.UTF-8"));
#endif

    std::string input = read_input(std::cin);
    const char* ptr = input.c_str();
    while (*ptr) {
        unsigned int codepoint = utf8_to_codepoint(ptr);
        printf("0x%X ('%lc') ", codepoint, codepoint);
    }
    std::cout << std::endl;
    return 0;
}

关键注意事项 #

• 控制台编码配置：Windows控制台默认使用本地编码（如GBK），必须先切换为UTF编码才能正确读取非ASCII字符
• 流Locale同步：C++流不会自动继承全局Locale设置，必须显式调用imbue才能让流进行正确的编码转换
• 文件输入兼容：读取文件时，需确保文件本身是UTF-8编码，同时为std::ifstream调用imbue设置对应Locale

内容的提问来源于stack exchange，提问作者teviroff