C++读取非UTF-8编码文件时getline无法匹配查找关键词如何解决

匹配失败的核心原因是文件编码与关键词字符串编码不一致：从文件内容中出现的异常字符½判断，目标文件是Windows平台默认的ANSI/GBK编码（代码页936），而代码中用于匹配的keyWords[i]为UTF-8编码。std::string::find()是逐字节匹配逻辑，不同编码下相同语义字符的字节序列完全不同，自然无法命中。
调试时观测到line字符串看似为空、但std::cout可以正常打印的原因是：调试器默认按UTF-8规则解析GBK字节流时出现识别错误，而Windows控制台默认使用GBK代码页输出，因此可以正常打印内容。
另外原代码存在运算符优先级bug：if (auto pos = line.find(keyWords[i]) != std::string::npos) 中!=优先级高于赋值操作，pos最终存储的是布尔比较结果，不是匹配位置，后续如果放开注释的字符串截取逻辑会出现异常。

不需要手动修改文件编码，在代码中做编码对齐即可，可选方案如下：

• 方案1：读入内容后转码为UTF-8再匹配
  借助Windows原生API将GBK编码的行内容转为UTF-8，和关键词编码保持一致，可直接复用原有逻辑。转码工具函数示例：

#include <windows.h>
#include <string>

std::string GbkToUtf8(const std::string& gbkStr) {
    int wLen = MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, nullptr, 0);
    wchar_t* wBuf = new wchar_t[wLen];
    MultiByteToWideChar(CP_ACP, 0, gbkStr.c_str(), -1, wBuf, wLen);
    int uLen = WideCharToMultiByte(CP_UTF8, 0, wBuf, -1, nullptr, 0, nullptr, nullptr);
    char* uBuf = new char[uLen];
    WideCharToMultiByte(CP_UTF8, 0, wBuf, -1, uBuf, uLen, nullptr, nullptr);
    std::string res(uBuf);
    delete[] wBuf;
    delete[] uBuf;
    return res;
}

匹配逻辑修改为：

while (std::getline(file, line)) {
    std::string utf8Line = GbkToUtf8(line);
    size_t pos = utf8Line.find(keyWords[i]);
    if (pos != std::string::npos) {
        // 匹配成功后的逻辑
        break;
    }
}

• 方案2：统一使用宽字符流读取
  用std::wifstream打开文件，注入系统默认编码的locale，直接读取宽字符串和宽字符格式的关键词匹配，省去中间转码步骤，示例：

#include <fstream>
#include <locale>
#include <string>

std::wifstream file(fileToSearch);
file.imbue(std::locale("")); // 空字符串表示使用系统默认本地编码，Windows下即GBK
std::wstring line;
std::wstring targetKey = L"待匹配关键词"; // 关键词定义为宽字符字面量
while (std::getline(file, line)) {
    size_t pos = line.find(targetKey);
    if (pos != std::wstring::npos) {
        // 匹配成功后的逻辑
        break;
    }
}

• 方案3：自动识别文件编码适配
  如果需要兼容多种编码的输入文件，可先读取文件前几个字节的BOM头判断编码格式：
  • 头字节为0xEF 0xBB 0xBF：UTF-8编码
  • 头字节为0xFF 0xFE：UTF-16 LE编码
  • 头字节为0xFE 0xFF：UTF-16 BE编码
  • 无BOM：默认按系统ANSI编码处理
    根据识别结果选择对应的读取、转码逻辑，不需要人工预处理文件。

内容的提问来源于stack exchange，提问作者jason santos