CStdioFileEx读取无BOM UTF-8文件异常问题求助及相关疑问

阿华AIGC实验室

2026-4-23

嗨，针对你遇到的这个问题，我来分享几个可行的解决思路，顺便聊聊关于微软反馈的问题：

一、问题原因分析

本质上，CStdioFileEx（或是标准MFC的CStdioFile）的SetCodePage(CP_UTF8)方法在处理无BOM的UTF-8文件时，内部可能默认会优先检测BOM标识，当检测不到时，错误地将文件内容当成系统默认的ANSI编码处理，导致第一行读取时出现字符截断。而带BOM的UTF-8文件因为有明确的编码标记，所以能被正确识别。

二、修复方案

方案1：手动读取字节流并转换编码（最可靠）

绕开ReadString的自动编码处理，直接读取文件字节，手动控制UTF-8到宽字符的转换逻辑，完全避免编码识别偏差：

CFile gameFile;
CString filePath = filePathsAndNames[i].first + L"\\main.lua";
if (!PathFileExists(filePath))
{
    filePath = filePathsAndNames[i].first + L"\\main3.lua";
    if (!PathFileExists(filePath))
    {
        // 文件不存在的处理逻辑
        return;
    }
}

if (gameFile.Open(filePath, CFile::modeRead | CFile::typeBinary))
{
    DWORD fileSize = gameFile.GetLength();
    BYTE* pBuffer = new BYTE[fileSize + 1];
    gameFile.Read(pBuffer, fileSize);
    pBuffer[fileSize] = 0; // 确保缓冲区以0结尾

    int bomOffset = 0;
    // 检查是否存在UTF-8 BOM（EF BB BF）
    if (fileSize >= 3 && pBuffer[0] == 0xEF && pBuffer[1] == 0xBB && pBuffer[2] == 0xBF)
    {
        bomOffset = 3;
    }

    // 将UTF-8字节转换为宽字符串
    int wideStrLen = MultiByteToWideChar(CP_UTF8, 0, (LPCSTR)(pBuffer + bomOffset), fileSize - bomOffset, NULL, 0);
    CString wideContent;
    if (wideStrLen > 0)
    {
        wideContent.GetBufferSetLength(wideStrLen);
        MultiByteToWideChar(CP_UTF8, 0, (LPCSTR)(pBuffer + bomOffset), fileSize - bomOffset, wideContent.GetBuffer(), wideStrLen);
        wideContent.ReleaseBuffer();
    }

    // 手动按行分割内容，替代ReadString的功能
    int currentPos = 0;
    CString line;
    const int MAX_STR_CNT = 5;
    int curr_str = 0;
    while (curr_str < MAX_STR_CNT && (currentPos = wideContent.Find(_T('\n'), currentPos)) != -1)
    {
        line = wideContent.Mid(0, currentPos);
        line.TrimRight(_T('\r')); // 去除可能的回车符
        // 这里处理你的行逻辑，比如提取game_name等信息
        ...

        curr_str++;
        currentPos++;
    }
    // 处理最后一行（如果还有剩余且未达到最大行数）
    if (curr_str < MAX_STR_CNT)
    {
        line = wideContent.Mid(currentPos);
        line.TrimRight(_T('\r'));
        ...
    }

    delete[] pBuffer;
    gameFile.Close();
}

方案2：调整`CStdioFileEx`的打开方式

如果坚持要用CStdioFileEx，可以尝试以二进制模式打开文件后再设置编码，强制它按UTF-8规则处理内容：

CStdioFileEx gameFile;
if (gameFile.Open(filePath, CFile::modeRead | CFile::typeBinary))
{
    gameFile.SetCodePage(CP_UTF8);
    // 后续的ReadString逻辑
    ...
}

不过这个方案的效果可能因CStdioFileEx的具体实现而异，如果是自定义扩展类，需要看它的内部逻辑是否支持这种强制编码的方式。