Windows平台C++控制台读取UTF-8内容时std::getline返回空问题求助

问题根源 #

仅修改控制台代码页无法让C++标准库流自动适配UTF-8编码，默认std::ifstream、std::cin仍会按照系统默认ANSI编码解析字符，遇到UTF-8多字节字符就会解析失败，返回空字符串。不需要手动打开STD_INPUT_HANDLE，修改标准流的编码配置即可解决问题。

具体修复步骤 #

1. 配置全局locale适配UTF-8
   在所有流操作执行前，先设置全局locale为UTF-8编码：

// 放在main函数最开头
setlocale(LC_ALL, ".UTF8");

2. 显式指定文件流编码（兼容旧编译器）
   如果还是无法读取文件内容，给std::ifstream指定UTF-8编码的转换规则：

file.imbue(std::locale(file.getloc(), new std::codecvt_utf8<char>));

3. 调整控制台配置的调用顺序
   将SetConsoleCP、SetConsoleOutputCP的调用放在所有流初始化之前，确保控制台编码先生效。

修复后完整可运行代码 #

#include <iostream>
#include <Windows.h>
#include <fstream>
#include <vector>
#include <string>
#include <locale>
#include <codecvt>

void populate(std::vector<std::string>& in) {
    std::ifstream file("words.txt");
    // 显式指定按UTF-8编码读取文件
    file.imbue(std::locale(file.getloc(), new std::codecvt_utf8<char>));

    std::string line;
    while (std::getline(file, line)) {
        in.emplace_back(line);
    }
}

int main() {
    // 先配置全局UTF-8 locale
    setlocale(LC_ALL, ".UTF8");
    // 再配置控制台代码页
    SetConsoleOutputCP(CP_UTF8);
    SetConsoleCP(CP_UTF8);

    SetConsoleTitleA("Example");

    std::vector<std::string> arr;
    populate(arr);

    std::string input_utf8;
    std::cin >> input_utf8;

    for (const std::string& s : arr) {
        if (input_utf8 == s) {
            std::cout << "It works! The input wasn't null!" << std::endl;
            break;
        }
    }
    return 0;
}

补充注意事项 #

• 确保words.txt本身为UTF-8编码（无BOM格式最佳，带BOM需要额外处理首行的BOM标识字符），否则仍会出现读取异常。
• 如果使用Visual Studio编译，可在代码开头添加#pragma execution_character_set("utf-8")强制指定执行字符集为UTF-8，避免编译阶段出现编码转换问题。

内容的提问来源于stack exchange，提问作者racc2