C++读取UTF-8文件统计字符时的异常问题排查求助

终端输出大量空白的原因 #

• 终端默认未配置宽字符输出支持：wstring存储的是UTF-16/UTF-32宽字符，多数终端（如Windows CMD）默认仅支持单字节编码输出，直接输出宽字符时会错误解析字节结构，导致大量空白或乱码。

字符‘保存后显示为空但计数正确的原因 #

• 编码转换不匹配：读取时正确识别了目标字符（因此计数正常），但写入TSV时wofstream未设置为UTF-8编码。若使用系统默认locale（如GBK），该字符的宽字符编码在目标编码中无对应映射，写入后就会显示为空。
• 编辑器编码识别误差：部分编辑器对TSV文件的编码识别优先级问题，可能导致该字符显示空白，但文件实际内容是正确的。

莫名出现ā和€且计数相同的原因 #

• 读取时locale设置错误：wifstream默认使用系统单字节locale读取UTF-8文件，会将多字节的UTF-8序列拆分为单个字节解析成宽字符。某些无效的字节组合恰好对应ā（U+0101）和€（U+20AC）的宽字符编码，且文件中这类无效拆分的次数一致，导致计数相同。
• 文件末尾冗余字节：若原文件末尾存在未被正确处理的残留字节，这些字节会被错误解析为上述两个字符，且因冗余字节数量固定，计数保持一致。
• BOM处理缺失：如果UTF-8文件带BOM（0xEF BB BF），未跳过BOM的情况下，wifstream会将BOM的三个字节错误解析为宽字符，其中可能包含对应ā或€的编码值。

关键修复建议 #

• 给wifstream和wofstream配置正确的UTF-8 locale：

  std::locale utf8_locale(std::locale(), new std::codecvt_utf8<wchar_t>);
  std::wifstream in_file("input.txt");
  in_file.imbue(utf8_locale);
  std::wofstream out_file("output.tsv");
  out_file.imbue(utf8_locale);
  

• 终端输出宽字符时，需配置终端支持UTF-8，或执行std::wcout.imbue(utf8_locale);转换输出编码。
• 读取文件时检查并跳过UTF-8 BOM。

内容的提问来源于stack exchange，提问作者Gvido Jaunzems