如何将文件读取为wstring？读取俄文内容时控制台显示异常

你的问题核心在于wifstream默认使用的本地化编码不支持UTF-8，导致读取含非ASCII字符的UTF-8文件时解码错误；另外控制台输出的编码配置也可能影响最终显示效果。以下是具体的修复步骤：

1. 修复文件读取的UTF-8解码逻辑 #

默认情况下，wifstream使用的是系统默认的C locale，它只支持ASCII编码。要让它正确解码UTF-8文件，需要为流注入支持UTF-8转宽字符的locale：

修改你的readFile函数：

#include <sstream>
#include <fstream>
#include <locale>
#include <codecvt>

std::wstring readFile(const char* filename)
{
    std::wifstream wif(filename);
    // 注入UTF-8转宽字符的locale
    wif.imbue(std::locale(wif.getloc(), new std::codecvt_utf8<wchar_t>));
    std::wstringstream wss;
    wss << wif.rdbuf();
    return wss.str();
}

这段代码通过std::codecvt_utf8<wchar_t>字符转换facet，让wifstream能正确将UTF-8字节流解码为wchar_t类型的宽字符，确保俄文等非ASCII字符的码点被正确存入wstring。

2. 修复控制台输出的编码问题 #

如果读取后的wstring码点正确但控制台显示异常，那是因为控制台默认编码不支持Unicode输出。针对不同系统有不同的处理方式：

Windows系统 #

Windows控制台默认使用GBK或CP1251等编码，需要手动切换到UTF-8并配置wcout的locale：

#include <iostream>
#include <windows.h>

// 在输出前调用此函数
void setupConsoleOutput()
{
    // 设置控制台代码页为UTF-8
    SetConsoleOutputCP(CP_UTF8);
    // 配置wcout使用UTF-8 locale
    std::wcout.imbue(std::locale(std::wcout.getloc(), new std::codecvt_utf8<wchar_t>));
}

调用setupConsoleOutput()后，再用std::wcout << your_wstring;输出就能正确显示俄文。

Linux/macOS系统 #

这类系统的控制台通常默认支持UTF-8，只需确保wcout使用的locale是UTF-8即可：

#include <iostream>
#include <locale>

void setupConsoleOutput()
{
    std::wcout.imbue(std::locale("en_US.UTF-8"));
}

注意事项 #

• 确保你的源文件确实是UTF-8编码（无BOM也可以，codecvt_utf8支持无BOM的UTF-8）。
• 如果是带BOM的UTF-8文件，需要使用std::codecvt_utf8<wchar_t, 0x10ffff, std::consume_header>来处理BOM头。

内容的提问来源于stack exchange，提问作者illi4er