Windows平台下C++的UTF-8输入输出问题求助

一、控制台输出乱码的修复 #

你的测试代码中Windows输出乱码的核心原因是编译时字符串字面量的编码与运行时控制台编码不匹配，加上MinGW交叉编译的字符集配置缺失：

• 编译时强制指定字符串编码：用MXE交叉编译时，添加编译选项 -finput-charset=UTF-8 -fexec-charset=UTF-8，确保源码中的UTF-8字符串字面量被编译为程序内的UTF-8编码，避免自动转成Windows本地编码（如GBK）。
• 完善控制台编码设置：除了输出编码，补充输入编码设置，并调整缓冲模式避免乱码延迟，同时切换控制台字体为支持UTF-8的类型（如Consolas、微软雅黑）：

  #ifdef _WIN32
  // 设置控制台输入输出均为UTF-8编码
  SetConsoleOutputCP(CP_UTF8);
  SetConsoleCP(CP_UTF8);
  // 禁用缓冲，避免输出乱码或延迟
  setvbuf(stdout, nullptr, _IONBF, 0);
  #endif
  
  std::cout << "你好" << std::endl;
  

二、文件读取与正则处理的中文支持 #

Windows下std::ifstream默认用**本地编码（通常是GBK）**读取文件，导致UTF-8文件中的中文被错误解码，进而正则匹配失败，解决步骤：

1. 指定UTF-8编码读取文件：
   使用C++标准库的编码转换工具，确保读取的内容保持UTF-8编码：

   #include <fstream>
   #include <string>
   #include <sstream>
   #include <locale>
   #include <codecvt>
   
   std::string read_utf8_file(const std::string& input_file) {
       // 绑定UTF-8编码的locale到文件流
       std::wifstream t t(input_file);
       t.imbue(std::locale(t.getloc(), new std::codecvt_utf8<wchar_t>));
   
       std::wstringstream buffer;
       buffer << t.rdbuf();
       std::wstring wide_contents = buffer.str();
   
       // 将宽字符串转换为UTF-8编码的窄字符串
       std::wstring_convert<std::codecvt_utf8<wchar_t>> converter;
       return converter.to_bytes(wide_contents);
   }
   

2. 正则处理的中文匹配：
   确保正则表达式的字符串字面量为UTF-8（通过编译选项保证），同时启用C++17及以上标准以获得更完善的UTF-8正则支持：

   std::string page_contents = read_utf8_file(input_file);
   // 基于UTF-8编码执行正则替换
   page_contents = std::regex_replace(page_contents, std::regex("([a-z]{3})你好"), "$1再见");
   

三、交叉编译的关键配置 #

用MXE交叉编译时，必须在编译命令或Makefile中添加以下选项：

CXXFLAGS += -finput-charset=UTF-8 -fexec-charset=UTF-8 -std=c++17

• -finput-charset=UTF-8：告知编译器源码文件采用UTF-8编码
• -fexec-charset=UTF-8：强制字符串字面量编译为UTF-8编码的二进制
• -std=c++17：启用标准库对UTF-8编码的完整支持

内容的提问来源于stack exchange，提问作者user22683446