Qt中如何正确识别HTML文件编码并转为QString/QStringView？

背景 #

• 开发SGML解析器时，使用命令 locate *.html > /tmp/htmldump 收集本地所有HTML文件做测试
• 遇到多种编码格式的HTML文件，例如某文件的file命令输出：

file "effects_documentation.html"
effects_documentation.html: 
HTML document, 
Unicode text, 
UTF-16, 
little-endian text, 
with CRLF line terminators

• 部分文件需手动指定编码才能正常读取，示例代码：

QTextStream ts(&f);
ts.setEncoding(QStringConverter::Encoding::Utf16LE);  // 显式设置为UTF-16小端编码

QString content = ts.readAll();
f.close();

• 不同文件编码不一致，无法用单一编码统一读取

问题 #

在Qt中读取QFile中的HTML文本时，如何确保其被正确编码为QString和QStringView以供解析？

解决方案 #

1. 启用Qt的Unicode编码自动检测 #

Qt 5.14及以上版本支持自动识别UTF-8、UTF-16（大/小端）、UTF-32等Unicode编码，只需开启自动检测：

QFile f(filePath);
if (!f.open(QIODevice::ReadOnly)) {
    // 处理文件打开失败逻辑
    return;
}

QTextStream ts(&f);
ts.setAutoDetectUnicode(true); // 启用Unicode编码自动检测
QString content = ts.readAll();
f.close();

该方法能覆盖大部分Unicode编码场景，但对GBK、Shift-JIS等非Unicode编码无效。

2. 通过BOM（字节顺序标记）判断编码 #

多数Unicode文件会携带BOM，可先读取文件开头字节判断编码：

QFile f(filePath);
if (!f.open(QIODevice::ReadOnly)) {
    return;
}

QByteArray bom = f.peek(4);
QStringConverter::Encoding encoding = QStringConverter::Utf8; // 默认UTF-8

if (bom.startsWith("\xFF\xFE")) {
    encoding = QStringConverter::Utf16LE;
} else if (bom.startsWith("\xFE\xFF")) {
    encoding = QStringConverter::Utf16BE;
} else if (bom.startsWith("\xFF\xFE\x00\x00")) {
    encoding = QStringConverter::Utf32LE;
} else if (bom.startsWith("\x00\x00\xFE\xFF")) {
    encoding = QStringConverter::Utf32BE;
}

QTextStream ts(&f);
ts.setEncoding(encoding);
QString content = ts.readAll();
f.close();

此方法能精准识别带BOM的Unicode编码，无BOM文件则用默认编码兜底。

3. 多编码 fallback 尝试 #

若自动检测和BOM判断失效，可按优先级尝试常见编码，读取后验证内容合法性：

QList<QStringConverter::Encoding> encodings = {
    QStringConverter::Utf8,
    QStringConverter::Utf16LE,
    QStringConverter::Utf16BE,
    QStringConverter::GB18030, // 兼容GBK/GB2312
    QStringConverter::ShiftJIS
};

QString validContent;
for (auto enc : encodings) {
    QFile f(filePath);
    if (!f.open(QIODevice::ReadOnly)) break;
    
    QTextStream ts(&f);
    ts.setEncoding(enc);
    QString content = ts.readAll();
    f.close();
    
    // 简单验证：统计无效字符占比，超过10%则判定编码错误
    int invalidCount = 0;
    for (QChar c : content) {
        if (c.isSurrogate() || (c.unicode() < 0x20 && c != '\n' && c != '\r' && c != '\t')) {
            invalidCount++;
        }
    }
    if (invalidCount <= content.length() * 0.1) {
        validContent = content;
        break;
    }
}

// 使用validContent进行后续解析

该方法适合处理各种非Unicode编码的老旧HTML文件。

4. 解析HTML元标签获取编码 #

按默认编码读取文件开头部分，解析<meta charset="xxx">标签获取作者指定的编码，再重新读取：

QFile f(filePath);
if (!f.open(QIODevice::ReadOnly)) {
    return;
}

// 读取前4KB内容，足够定位编码声明
QByteArray rawData = f.read(4096);
f.seek(0);

QString tempContent = QString::fromUtf8(rawData);
QRegularExpression re(R"(<meta[^>]+charset\s*=\s*["']?([^"'>]+)["']?)", QRegularExpression::CaseInsensitiveOption);
QRegularExpressionMatch match = re.match(tempContent);
QStringConverter::Encoding encoding = QStringConverter::Utf8;

if (match.hasMatch()) {
    QString charset = match.captured(1).trimmed();
    encoding = QStringConverter::encodingForName(charset.toUtf8());
    if (encoding == QStringConverter::Encoding::Unknown) {
        encoding = QStringConverter::Utf8; // 未知编码 fallback 到UTF-8
    }
}

QTextStream ts(&f);
ts.setEncoding(encoding);
QString content = ts.readAll();
f.close();

这是HTML标准推荐的编码识别方式，能准确获取文件指定编码，前提是开头部分能被默认编码正确读取。

内容的提问来源于stack exchange，提问作者Anon