C++中Unicode字符串字面量与文件读取行为差异问题求助

问题背景 #

从文件读取的Unicode文本存入string后用cout输出正常，但相同字符的宽字符串字面量存入wstring后用wcout输出乱码。以下是测试代码、输出及编译环境：

测试代码 #

#include <fstream>
#include <iostream>
#include <string>

using namespace std;

int main(int argc,
         char* argv[])
{
    ifstream infile("unicode.txt");
    string strFromFile;
    getline(infile, strFromFile);
    infile.close();
    cout << "From file: " << strFromFile << endl;

    wstring strLiteral = L"ĀƁĊĐĒƑĢĦĪĴĶŁΜŊŌƤǬŖŞŦŪƲŴΧɎƵāƂċđēƒġħıĵķłɱŋōƥǭŗşŧūνŵχɏƶ";
    wcout << "From literal: " << strLiteral << endl;

    return 0;
}

输出结果 #

From file: ĀƁĊĐĒƑĢĦĪĴĶŁΜŊŌƤǬŖŞŦŪƲŴΧɎƵāƂċđēƒġħıĵķłɱŋōƥǭŗşŧūνŵχɏƶ
From literal: �
�"&*46A�JL��V^fj�t�N��
                      �!'157BqKM��W_gk�u�O�

编译信息 #

• 编译命令：g++ main.cpp -Wall
• 编译器版本：g++ (Ubuntu 13.2.0-4ubuntu3) 13.2.0

问题解答 #

1. 为什么Unicode可以存储在string而非必须用wstring？ #

string本质是字节序列容器，它存储的是char类型数据（多数系统中为1字节），并不关心字节的编码含义。只要你的Unicode文本是以UTF-8编码存储在文件中，读取到string里的就是完整的UTF-8字节流——每个Unicode字符对应1~4个字节。当用cout输出时，终端默认（Ubuntu环境）支持UTF-8解码，自然能把这些字节正确转换成对应字符显示。

wstring是宽字符序列容器，存储的是wchar_t类型数据：Linux下wchar_t为4字节（对应UTF-32编码，单字符占4字节），Windows下为2字节（对应UTF-16编码）。它的设计是直接存储单个Unicode字符的编码值，但这并不代表string不能处理Unicode——只要编码匹配，string完全可以承载UTF-8格式的Unicode文本。

2. 为什么cout能正常输出而wcout输出失败？ #

wcout输出乱码的核心原因是本地化设置不匹配：

• cout输出的是UTF-8字节流，终端默认已设置为UTF-8编码，字节流可直接被正确解码。
• wcout处理的是wchar_t类型的宽字符（Linux下为UTF-32），需要将宽字符转换为终端支持的多字节编码（UTF-8）才能显示。但C++标准库默认本地化设置为"C"（POSIX默认），不支持UTF-8转换，导致宽字符到多字节的转换失败，最终输出乱码。

要解决wcout的问题，只需在使用前设置正确的本地化：

#include <locale>

// 在main函数开头添加
wcout.imbue(locale("")); // 使用系统默认本地化（Ubuntu下为UTF-8）

另外需要注意：宽字符串字面量L""的编码由编译器决定，GCC下会根据源码文件的默认UTF-8编码，将字符转换为wchar_t对应的UTF-32编码，这部分是正确的，问题出在输出时的编码转换环节。

内容的提问来源于stack exchange，提问作者Ebonair