在C++中使用ICU获取grapheme长度遇到异常问题

问题概述 #

我需要从字符串中提取grapheme，因此要获取每个grapheme对应的字节长度序列，尝试用ICU的BreakIterator实现。测试用三个字符：$（UTF-8占1字节）、£（UTF-8占2字节）、円（UTF-8占3字节），测试字符串总长度8字节，包含5个grapheme。

根据文档及社区信息，BreakIterator的current()方法应返回字符串内的字节偏移，但实际返回的是每次递增1的计数，与代码点位置、grapheme长度均不匹配。循环能正常终止，但iter->current()每次仅加1，哪怕处理的grapheme远超过1字节。预期输出偏移序列为：0、1、3、4、7、8，现需排查问题原因并寻求解决方法。

测试环境 #

• ICU 72.1
• GCC 11.3.0
• Linux x86_64

编译命令 #

g++ -o grapheme_test grapheme_test.cpp -licuuc -licui18n

错误测试代码 #

#include <iostream>
#include <unicode/brkiter.h>
#include <unicode/unistr.h>

int main() {
    // 测试字符串：$£円$$（UTF-8总字节数8）
    UnicodeString ustr = "$£円$$";
    BreakIterator* iter = BreakIterator::createCharacterInstance(Locale::getEnglish());
    iter->setText(ustr);

    int32_t pos = iter->first();
    while (pos != BreakIterator::DONE) {
        std::cout << pos << ", ";
        pos = iter->next();
    }
    std::cout << std::endl;

    delete iter;
    return 0;
}

实际输出 #

0, 1, 2, 3, 4, 5,

问题原因 #

1. 输入类型混淆：使用UnicodeString作为BreakIterator的输入时，current()返回的是UnicodeString内部的代码点/UTF-16代码单元索引，而非原始UTF-8字符串的字节偏移。UnicodeString默认以UTF-16存储，每个测试字符都是单个UTF-16代码单元，因此索引每次递增1。
2. 迭代器类型误用：createCharacterInstance()创建的是按Unicode代码点拆分的迭代器，若需处理包含组合字符的grapheme cluster（比如带变音符号的字符），该迭代器会将组合符拆分为独立单元，不符合grapheme提取需求。

解决方法 #

方法1：直接传入UTF-8字符串获取字节偏移 #

使用BreakIterator的UTF-8文本接口，直接传入原始UTF-8字符串，此时current()返回的就是字节偏移：

#include <iostream>
#include <unicode/brkiter.h>
#include <unicode/utypes.h>
#include <cstring>

int main() {
    const char* utf8_str = "$£円$$"; // UTF-8总字节数8
    UErrorCode status = U_ZERO_ERROR;

    // 创建grapheme cluster拆分的迭代器
    BreakIterator* iter = BreakIterator::createGraphemeInstance(Locale::getEnglish(), status);
    if (U_FAILURE(status)) {
        std::cerr << "创建迭代器失败：" << u_errorName(status) << std::endl;
        return 1;
    }

    // 设置UTF-8格式文本
    iter->setText(utf8_str, strlen(utf8_str), status);
    if (U_FAILURE(status)) {
        std::cerr << "设置文本失败：" << u_errorName(status) << std::endl;
        delete iter;
        return 1;
    }

    int32_t pos = iter->first();
    while (pos != BreakIterator::DONE) {
        std::cout << pos << ", ";
        pos = iter->next();
    }
    std::cout << std::endl;

    delete iter;
    return 0;
}

方法2：UnicodeString转字节偏移（若必须使用UnicodeString） #

如果需要保留UnicodeString的使用，可通过ICU的UTF8类将UnicodeString的索引转换为原始UTF-8的字节偏移：

#include <iostream>
#include <unicode/brkiter.h>
#include <unicode/unistr.h>
#include <unicode/utf8.h>

int main() {
    const char* utf8_str = "$£円$$";
    UnicodeString ustr(utf8_str, "UTF-8");
    UErrorCode status = U_ZERO_ERROR;

    BreakIterator* iter = BreakIterator::createGraphemeInstance(Locale::getEnglish(), status);
    iter->setText(ustr);

    int32_t pos = iter->first();
    while (pos != BreakIterator::DONE) {
        // 将UnicodeString索引转换为UTF-8字节偏移
        int32_t byte_offset = 0;
        U8_FROM_STRING(utf8_str, byte_offset, pos, strlen(utf8_str), status);
        std::cout << byte_offset << ", ";
        pos = iter->next();
    }
    std::cout << std::endl;

    delete iter;
    return 0;
}

关键注意点 #

• 优先使用createGraphemeInstance()而非createCharacterInstance()，确保按grapheme cluster拆分文本，兼容组合字符场景；
• 若需字节偏移，避免通过UnicodeString中转，直接传入UTF-8字符串效率更高且不易出错。

内容的提问来源于stack exchange，提问作者coreyp_1