Windows下将argv[1]从wchar_t**转char**出现编码异常问题排查

问题代码 #

int wmain(int argc, wchar_t **argv) {
    using namespace std;

    wstring_convert<codecvt_utf8<wchar_t>, wchar_t> converter;
    string str = converter.to_bytes(argv[1]);

    cout << str << endl;

    return 0;
}

问题现象 #

• 在PowerShell/CMD中执行程序并传入非ASCII参数（如myprgram.exe "é"），输出结果为Ãé而非é。
• 将argv[1]替换为硬编码的L"é"时，转换后输出正常，但源文件已采用UTF-8编码。
• 直接用std::wcout输出argv[1]显示正常，对比字节内容：
  • argv[1]：e9 00 00 00
  • L"é"：c3 00 a9 00 00 00

成因分析 #

1. 硬编码字符串的解析错误 #

你的源文件是UTF-8编码，其中é的字节为c3 a9，但编译器未正确识别源文件的UTF-8编码，而是将其当作ANSI（如Windows-1252）编码处理。这导致L"é"被解析为两个独立的ANSI字符：Ã（0xC3）和©（0xA9），再转换为UTF-16LE格式，最终存储为0x00C3和0x00A9（对应字节c3 00 a9 00），而非正确的UTF-16LE格式的é（0x00E9，字节e9 00）。

2. 转换编码与输出/库期望不匹配 #

• argv[1]转换后的问题：命令行传入的是正确的UTF-16LE格式的é（0x00E9），通过codecvt_utf8转换后得到标准UTF-8格式的é（字节c3 a9）。但Windows的cout默认使用控制台的ANSI编码输出，会把UTF-8字节当作ANSI字符解析，导致输出乱码（Ãé）。若第三方库期望的是ANSI编码的std::string而非UTF-8，这个UTF-8格式的字符串传入库后也会出现编码异常。
• 硬编码字符串的“正常”假象：硬编码的L"é"实际是é的UTF-16LE格式，转换为UTF-8后得到c3 83 c2 a9，此时输出显示“正常”只是编码解析的巧合，并非正确转换结果。

3. 命令行参数的编码本质 #

Windows下wmain的argv参数是UTF-16LE编码，直接对应输入字符的Unicode码点，所以std::wcout能正常输出；而你用codecvt_utf8转换得到的是UTF-8编码字符串，与控制台默认的ANSI编码不兼容，才导致输出乱码。

内容的提问来源于stack exchange，提问作者Adel M.