如何将std::getline与Glib::ustring配合使用？UTF-8转换报错排查

问题分析 #

你遇到的核心问题是：将UTF-8格式文件的行读取到std::string后转换为Glib::ustring时，西里尔文等非ASCII内容抛出Glib::ConvertError（错误码ILLEGAL_SEQUENCE），但文件本身已验证为合法UTF-8格式。

常见触发原因：

• 文本模式读取破坏字节序列：Windows系统下用文本模式打开文件时，系统会自动转换换行符（\n↔\r\n），这种操作可能损坏UTF-8多字节序列的完整性。
• 冗余转换操作：若已确认文件是UTF-8，直接用std::string构造Glib::ustring即可，错误的手动转换逻辑可能触发异常。

解决方案 #

1. 用二进制模式打开文件 #

确保读取时使用二进制模式，避免系统自动修改字节：

#include <fstream>
#include <string>
#include <glibmm/ustring.h>

int main() {
    // 以二进制模式打开文件，避免换行符转换
    std::ifstream file("utf8_file.txt", std::ios::binary);
    if (!file.is_open()) {
        // 处理文件打开失败
        return 1;
    }

    std::string line;
    while (std::getline(file, line)) {
        // 直接用std::string构造Glib::ustring，Glib会自动解析UTF-8
        Glib::ustring u_line(line);
        // 执行后续业务逻辑
    }

    file.close();
    return 0;
}

2. 直接读取到Glib::ustring（推荐） #

跳过std::string中转步骤，用Glib原生工具直接读取文件，彻底规避转换风险：

#include <glibmm/fileutils.h>
#include <glibmm/ustring.h>

int main() {
    try {
        // 一次性读取整个UTF-8文件到Glib::ustring
        Glib::ustring content = Glib::file_get_contents("utf8_file.txt");
        
        // 按需按行分割内容
        std::vector<Glib::ustring> lines = content.split('\n');
        for (const auto& line : lines) {
            // 处理每行数据
        }
    } catch (const Glib::FileError& e) {
        // 处理文件读取错误
    } catch (const Glib::ConvertError& e) {
        // 处理编码转换错误
    }

    return 0;
}

3. 明确编码的转换方式（按需使用） #

如果必须保留std::string中转，明确指定UTF-8编码进行转换：

// 明确指定源/目标编码为UTF-8，等价于直接构造，仅用于编码场景明确化
Glib::ustring u_line = Glib::convert(line, "UTF-8", "UTF-8");

额外检查点 #

• 移除文件BOM：部分编辑器会给UTF-8文件添加字节顺序标记（BOM），Glib默认不识别该标记，可能导致转换失败，可通过VS Code等工具移除BOM后重试。
• 校验读取字节：打印std::string的每个字节值，确认与原文件的UTF-8字节完全一致，排除读取过程中的字节丢失或篡改。

内容的提问来源于stack exchange，提问作者v010dya