如何在std::wifstream触发failbit后恢复并继续读取文件？

问题根源 #

std::wifstream默认依赖当前环境的locale解码字节流，当文件编码（如UTF-8特殊字符）与locale不兼容时，遇到无法解码的字符会触发failbit。此时即使调用clear()重置状态，流的读取位置仍停留在错误字符处，导致后续读取再次失败。

解决方案 #

1. 设置匹配文件编码的Locale #

如果明确文件编码（比如UTF-8），直接为流设置对应locale，让其正确解码特殊字符，从根源避免错误触发：

if (std::wifstream logFile(file))
{
    // 为流设置UTF-8编码的locale（不同系统有差异：Windows可用"UTF-8"，Linux可用"en_US.UTF-8"）
    logFile.imbue(std::locale("en_US.UTF-8"));
    
    std::wstring line;
    while (std::getline(logFile, line))
    {
        do_fancy_things(line);
    }
}

注：若不确定系统locale名称，可尝试std::locale("")使用系统默认locale，但需确保默认locale与文件编码匹配。

2. 自定义Codecvt忽略解码错误 #

如果无法匹配编码，或需要强制跳过无效字符，可自定义codecvt facet，让流遇到解码错误时跳过而非触发失败：

#include <locale>
#include <codecvt>

// 自定义Codecvt，忽略UTF-8解码错误
class Utf8IgnoreErrors : public std::codecvt<wchar_t, char, std::mbstate_t> {
protected:
    result do_in(state_type& state,
                 const char* from, const char* from_end, const char*& from_next,
                 wchar_t* to, wchar_t* to_end, wchar_t*& to_next) const override {
        result res = std::codecvt<wchar_t, char, std::mbstate_t>::do_in(state, from, from_end, from_next, to, to_end, to_next);
        if (res == error || res == partial) {
            // 跳过当前无效字节，重置状态后继续
            from_next = from + 1;
            to_next = to;
            state = std::mbstate_t();
            return ok;
        }
        return res;
    }
};

// 使用示例
if (std::wifstream logFile(file))
{
    // 将自定义facet注入流的locale
    logFile.imbue(std::locale(logFile.getloc(), new Utf8IgnoreErrors));
    
    std::wstring line;
    while (std::getline(logFile, line))
    {
        do_fancy_things(line);
    }
}

3. 切换为字节流手动处理编码 #

放弃wifstream，用std::ifstream以字节流读取，手动处理编码转换并忽略错误，完全控制读取逻辑：

#include <cstdlib> // for mbrtowc

if (std::ifstream logFile(file, std::ios::binary))
{
    std::string line;
    while (std::getline(logFile, line))
    {
        std::wstring wline;
        const char* ptr = line.c_str();
        const char* end = ptr + line.size();
        std::mbstate_t state = std::mbstate_t();
        
        while (ptr < end)
        {
            wchar_t wc;
            size_t converted = std::mbrtowc(&wc, ptr, end - ptr, &state);
            
            if (converted == static_cast<size_t>(-1))
            {
                // 无效编码序列，跳过1字节并重置状态
                ptr++;
                state = std::mbstate_t();
            }
            else if (converted == static_cast<size_t>(-2))
            {
                // 不完整序列，直接终止（按行读取时可能出现）
                break;
            }
            else
            {
                wline += wc;
                ptr += converted;
            }
        }
        
        do_fancy_things(wline);
    }
}

4. 重置流并跳过错误字符（临时 workaround） #

如果不想修改locale或编码逻辑，可在触发failbit后重置状态并手动跳过错误字节：

if (std::wifstream logFile(file))
{
    std::wstring line;
    while (true)
    {
        if (std::getline(logFile, line))
        {
            do_fancy_things(line);
        }
        else
        {
            // 仅当不是EOF时处理错误
            if (logFile.eof())
                break;
                
            // 重置failbit
            logFile.clear();
            // 跳过当前错误字节（可能需要根据编码调整跳过长度）
            char c;
            logFile.read(&c, 1);
        }
    }
}

注：这种方法比较粗糙，无法准确处理多字节编码的错误序列，仅适合临时应急。

内容的提问来源于stack exchange，提问作者PaperBirdMaster