QsciLexerCustom语法高亮UTF-8德语字符局部样式偏移问题

问题场景 #

用QScintilla结合QsciLexerCustom实现语法高亮，需要处理é、ä、ß这类非ASCII字符。全局样式文档时，按照UTF-8字节长度设置样式的逻辑正常，但针对大文件用start/end参数做局部样式化时，参数和实际文本长度不匹配，导致样式偏移——每增加一个非ASCII字符，偏移会叠加，删除重写注释后偏移会偏一位。

核心原因 #

QScintilla的styleText方法传入的start/end参数，以及底层SCI_STYLESETSTART等接口使用的是UTF-8字节偏移，而非字符索引。非ASCII字符在UTF-8中占多字节（比如é占2字节、ß占2字节），如果把字符数直接当作字节偏移传入局部样式逻辑，就会导致实际样式位置和预期位置逐步错位，且每一个非ASCII字符都会增加偏移量。

解决方案 #

处理局部样式时，必须严格区分字符索引和UTF-8字节偏移：

• 若已知目标字符的索引，先将其转换为对应的UTF-8字节偏移，再传入QScintilla的样式接口
• 在styleText方法中处理局部文本时，先根据字节偏移截取UTF-8字节段，再转换为QString按字符解析，同时跟踪每个字符对应的字节长度，确保样式位置与字节偏移对应

代码示例 #

错误写法（导致偏移） #

直接将字符索引作为字节偏移传入，混淆字符数与字节数：

void CustomLexer::styleText(int start, int end) {
    QString text = editor()->text().mid(start, end - start); // 错误：用字节偏移截取字符，文本内容错位
    for (int i = 0; i < text.size(); ++i) {
        setStyling(1, DefaultStyle); // 错误：默认按1字节处理，非ASCII字符占多字节，样式范围错误
    }
}

正确写法 #

基于字节偏移处理UTF-8文本，跟踪每个字符的字节长度：

void CustomLexer::styleText(int start, int end) {
    // 获取文档完整UTF-8字节数据
    QByteArray full_data = editor()->text().toUtf8();
    // 截取需要样式化的字节段
    QByteArray segment = full_data.mid(start, end - start);
    QString text = QString::fromUtf8(segment);

    int current_byte = start;
    for (const QChar& c : text) {
        // 计算当前字符的UTF-8字节长度
        int byte_len = c.toUtf8().size();
        // 根据字符类型设置对应样式（示例为默认样式，可替换为自定义逻辑）
        setStyling(byte_len, DefaultStyle);
        current_byte += byte_len;
    }
}

字符索引转字节偏移示例 #

如果需要从某个字符索引位置开始局部样式化，先转换为字节偏移：

// 假设要从第10个字符位置开始样式化
int char_index = 10;
QByteArray text_bytes = editor->text().toUtf8();
// 计算前10个字符的总字节数
int byte_offset = text_bytes.left(char_index).size();
// 调用局部样式接口时传入字节偏移
editor->SendScintilla(QsciScintilla::SCI_STYLESETSTART, byte_offset);

内容的提问来源于stack exchange，提问作者Clement Julia