如何在QString中转义Unicode字符生成最短纯ASCII字符串？

要实现比百分编码更短的QString非ASCII字符转义/还原，核心思路是保留可打印ASCII字符原样，仅对连续的非ASCII字符块进行高效编码，并使用简洁的标记分隔编码块，以下是几种可靠的实现方式：

1. Base64Url + 简洁标记（Qt内置支持，无需额外依赖） #

利用Qt自带的Base64Url编码（比标准Base64更适合ASCII场景，无特殊冲突字符），用一个不在允许列表中的ASCII字符（如^）作为编码块的起止标记，实现短长度转义。

实现代码 #

首先定义允许的ASCII字符判断函数：

bool isAllowedAscii(QChar c) {
    uchar uc = c.unicode();
    if (uc > 127) return false;
    // 包含用户指定的可打印ASCII + 数字、大小写字母
    static const QByteArray allowed = " !\"#$&'()*+,-./:;<=>?@[]_{|}~0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz";
    return allowed.contains(uc);
}

转义函数：

QString escapeNonAscii(const QString& input) {
    QString result;
    QString nonAsciiBuffer;

    for (QChar c : input) {
        if (isAllowedAscii(c)) {
            if (!nonAsciiBuffer.isEmpty()) {
                // 编码缓冲区中的非ASCII字符块
                QByteArray utf8 = nonAsciiBuffer.toUtf8();
                QString encoded = QString::fromUtf8(utf8.toBase64(QByteArray::Base64UrlEncoding));
                result += "^" + encoded + "^";
                nonAsciiBuffer.clear();
            }
            result += c;
        } else {
            nonAsciiBuffer += c;
        }
    }

    // 处理最后剩余的非ASCII字符
    if (!nonAsciiBuffer.isEmpty()) {
        QByteArray utf8 = nonAsciiBuffer.toUtf8();
        QString encoded = QString::fromUtf8(utf8.toBase64(QByteArray::Base64UrlEncoding));
        result += "^" + encoded + "^";
    }

    return result;
}

还原函数：

QString unescapeNonAscii(const QString& input) {
    QString result;
    int pos = 0;
    const int len = input.length();

    while (pos < len) {
        int blockStart = input.indexOf('^', pos);
        if (blockStart == -1) {
            result += input.mid(pos);
            break;
        }
        // 添加标记前的ASCII内容
        result += input.mid(pos, blockStart - pos);
        pos = blockStart + 1;

        int blockEnd = input.indexOf('^', pos);
        if (blockEnd == -1) {
            // 格式异常，直接添加剩余内容
            result += input.mid(pos);
            break;
        }
        // 解码Base64Url块
        QString encoded = input.mid(pos, blockEnd - pos);
        QByteArray utf8 = QByteArray::fromBase64(encoded.toUtf8(), QByteArray::Base64UrlEncoding);
        result += QString::fromUtf8(utf8);
        pos = blockEnd + 1;
    }

    return result;
}

优势 #

• 无需额外依赖，Qt原生API支持，稳定性高
• 单个非ASCII字符转义后长度从6（百分编码）缩短到5，多字符块的长度优势更明显（如😀从12缩短到7）
• 标记^不在用户指定的允许列表中，无冲突

2. Base85编码（更高压缩率） #

Base85的压缩率比Base64更高（每4字节输入转5字节输出，Base64是3转4），适合大量非ASCII字符的场景。需要自行实现Base85编码/解码逻辑（参考RFC 1924标准）。

核心实现（简化版Base85） #

QByteArray encodeBase85(const QByteArray& input) {
    QByteArray output;
    quint32 value = 0;
    int byteCount = 0;

    for (uchar c : input) {
        value = value * 256 + c;
        byteCount++;
        if (byteCount == 4) {
            if (value == 0) {
                output += 'z'; // 优化：全0用单个z表示
            } else {
                for (int i = 4; i >= 0; i--) {
                    output += '!' + (value / qPow(85, i));
                    value %= qPow(85, i);
                }
            }
            value = 0;
            byteCount = 0;
        }
    }

    // 处理剩余不足4字节的内容
    if (byteCount > 0) {
        for (int i = byteCount; i < 4; i++) {
            value *= 256;
        }
        for (int i = byteCount; i >= 0; i--) {
            output += '!' + (value / qPow(85, i));
        }
    }
    return output;
}

QByteArray decodeBase85(const QByteArray& input) {
    QByteArray output;
    quint32 value = 0;
    int charCount = 0;

    for (uchar c : input) {
        if (c == 'z') {
            if (charCount != 0) continue; // 格式异常跳过
            output.append(4, 0);
            continue;
        }
        if (c < '!' || c > 'u') continue; // 无效字符跳过
        value = value * 85 + (c - '!');
        charCount++;
        if (charCount == 5) {
            for (int i = 3; i >= 0; i--) {
                output += (value >> (i * 8)) & 0xFF;
            }
            value = 0;
            charCount = 0;
        }
    }

    // 处理剩余不足5字符的内容
    if (charCount > 0) {
        for (int i = charCount; i < 5; i++) {
            value = value * 85 + 84; // 补位为'u'对应的数值
        }
        int bytesToDecode = charCount - 1;
        for (int i = bytesToDecode; i >= 0; i--) {
            output += (value >> (i * 8)) & 0xFF;
        }
    }
    return output;
}

转义/还原函数 #

只需将Base64Url版本中的编码/解码部分替换为上述Base85函数即可，逻辑完全一致。

优势 #

• 压缩率比Base64高10%左右，长非ASCII字符块的长度更短
• 同样支持混合模式，保留ASCII字符原样

内容的提问来源于stack exchange，提问作者Tobias Leupold