如何比较ICU迭代器取值以实现Unicode字符的标准化比对？

核心思路 #

使用ICU提供的UNormalizer2增量标准化接口，基于UCharIterator实现逐码点流式标准化，不需要预加载完整字符串，内存开销为常数级，完全规避O(n+m)的额外内存占用。

实现步骤 #

1. 选择匹配需求的标准化实例
   ICU内置了多种标准化实现，可直接按需调用：

• 基础Unicode等价标准化选择unorm2_getNFDInstance/unorm2_getNFCInstance
• 需要兼容等价字符、忽略大小写的场景选择unorm2_getNFKCCasefoldInstance

2. 封装流式取标准化码点的辅助函数

#include <unicode/utypes.h>
#include <unicode/unorm2.h>
#include <unicode/uchariter.h>
#include <string.h>

// 从迭代器中取出下一个标准化后的Unicode码点，返回U_SENTINEL表示迭代结束
UChar32 get_next_normalized_codepoint(const UNormalizer2 *norm, UCharIterator *iter, 
                                      UChar *buf, int32_t *buf_len, UErrorCode *status) {
    UChar32 c;
    // 增量读取直到生成可输出的标准化码点
    while ((c = uiter_next32(iter)) != U_SENTINEL) {
        *buf_len = unorm2_append(norm, buf, UNORM_MAX_BUF_SIZE, c, NULL, 0, FALSE, status);
        if (U_FAILURE(*status)) return U_SENTINEL;
        
        int32_t offset = 0;
        if (*buf_len > 0) {
            UChar32 res = U16_NEXT(buf, offset, *buf_len);
            // 剩余未处理的字符保留在缓冲区
            if (offset < *buf_len) {
                memmove(buf, buf + offset, (*buf_len - offset) * sizeof(UChar));
                *buf_len -= offset;
            } else {
                *buf_len = 0;
            }
            return res;
        }
    }
    // 处理迭代结束后缓冲区剩余内容
    if (*buf_len > 0) {
        int32_t offset = 0;
        UChar32 res = U16_NEXT(buf, offset, *buf_len);
        if (offset < *buf_len) {
            memmove(buf, buf + offset, (*buf_len - offset) * sizeof(UChar));
            *buf_len -= offset;
        } else {
            *buf_len = 0;
        }
        return res;
    }
    return U_SENTINEL;
}

3. 替换原有比对逻辑

UErrorCode status = U_ZERO_ERROR;
// 按需替换为对应标准化实例
const UNormalizer2 *norm = unorm2_getNFDInstance(&status);
if (U_FAILURE(status)) {
    // 自定义错误处理
}

// 两个迭代器各自维护一个小缓冲区，UNORM_MAX_BUF_SIZE为ICU内置常量，仅十几字节大小
UChar buf1[UNORM_MAX_BUF_SIZE], buf2[UNORM_MAX_BUF_SIZE];
int32_t buf1_len = 0, buf2_len = 0;

UChar32 c1 = get_next_normalized_codepoint(norm, &first_iter, buf1, &buf1_len, &status);
UChar32 c2 = get_next_normalized_codepoint(norm, &second_iter, buf2, &buf2_len, &status);

if (c1 != c2) {
    // 原有不相等处理逻辑
}

重音忽略适配 #

针对你提到的a和ä需要判定为相等的需求，在标准化后跳过分类为标记类的字符即可：

UChar32 get_next_no_accent_codepoint(const UNormalizer2 *norm, UCharIterator *iter, 
                                     UChar *buf, int32_t *buf_len, UErrorCode *status) {
    UChar32 c;
    while ((c = get_next_normalized_codepoint(norm, iter, buf, buf_len, status)) != U_SENTINEL) {
        // 过滤掉重音、变音等标记类字符
        if (!(U_GET_GC_MASK(c) & U_GC_M_MASK)) {
            return c;
        }
    }
    return U_SENTINEL;
}

可选方案：基于排序规则的比对 #

如果需要符合特定地区的匹配规则，可使用ICU的CollationElementIterator直接读取UCharIterator的逐段排序权重，比对权重相等即可实现规则化匹配，同样不需要全量预处理字符串。 #

内容的提问来源于stack exchange，提问作者Gleb