从C#迁移代码到Java时，如何实现等效UnicodeCategory的字符分类逻辑？

核心问题 #

需要将基于CharUnicodeInfo.GetUnicodeCategory实现的字符串归一化逻辑迁移到Java，核心疑问包括：

• 是否可以通过正则表达式等价实现原代码的Unicode分类判断逻辑
• Java是否存在原生API可以直接完成Unicode字符分类匹配

方案结论 #

Java原生提供了和.NET UnicodeCategory完全对齐的Unicode字符分类判断能力，优先使用原生API实现，不需要依赖正则完成逻辑迁移

原生API说明 #

• 对应API为java.lang.Character#getType(int codePoint)，该方法基于官方Unicode标准返回字符的分类常量，和.NET框架的UnicodeCategory枚举分类规则、取值范围完全一一映射，不存在分类逻辑差异。
• 实现时需要注意Unicode代理对的兼容：Java的基础char类型仅能表示16位范围内的字符，处理全量Unicode字符（如emoji、超大码点的生僻字）时，必须通过String#codePoints()遍历字符码点，不能直接遍历原始char数组，避免将代理对拆分为两个无效字符导致分类错误。

迁移参考代码 #

import java.util.Set;

public class StringNormalizer {
    // 对应原C#中需替换为单个空格的Unicode分类集合
    private static final Set<Integer> REPLACE_WITH_SPACE_CATEGORIES = Set.of(
            Character.DASH_PUNCTUATION,
            Character.CONNECTOR_PUNCTUATION,
            Character.START_PUNCTUATION, // 匹配原逻辑的OpenPunctuation
            Character.END_PUNCTUATION, // 匹配原逻辑的ClosePunctuation
            Character.OTHER_PUNCTUATION,
            Character.LINE_SEPARATOR,
            Character.MATH_SYMBOL,
            Character.MODIFIER_SYMBOL,
            Character.OTHER_SYMBOL,
            Character.SPACE_SEPARATOR,
            Character.PARAGRAPH_SEPARATOR
    );

    // 对应原C#中需直接丢弃的Unicode分类集合
    private static final Set<Integer> SKIP_CATEGORIES = Set.of(
            Character.CONTROL,
            Character.CURRENCY_SYMBOL,
            Character.ENCLOSING_MARK,
            Character.NON_SPACING_MARK,
            Character.COMBINING_SPACING_MARK,
            Character.INITIAL_QUOTE_PUNCTUATION,
            Character.FINAL_QUOTE_PUNCTUATION,
            Character.FORMAT,
            Character.MODIFIER_LETTER,
            Character.UNASSIGNED, // 匹配原逻辑的OtherNotAssigned
            Character.PRIVATE_USE,
            Character.SURROGATE
    );

    public static String normalize(String preNormalizedString) {
        StringBuilder builder = new StringBuilder();
        boolean isPreviousSpaceChar = false;
        preNormalizedString.codePoints().forEach(codePoint -> {
            int category = Character.getType(codePoint);
            if (REPLACE_WITH_SPACE_CATEGORIES.contains(category)) {
                if (!isPreviousSpaceChar) {
                    builder.append(' ');
                }
                isPreviousSpaceChar = true;
            } else if (SKIP_CATEGORIES.contains(category)) {
                // 匹配需丢弃的分类，不做任何输出
            } else {
                // 保留字母、数字类有效字符
                builder.appendCodePoint(codePoint);
                isPreviousSpaceChar = false;
            }
        });
        return builder.toString().toUpperCase().trim();
    }
}

注：上述实现的分类逻辑、连续空格合并规则、大写转换、首尾裁剪行为，和原C#代码的执行结果完全一致。

正则实现的可行性说明 #

• 技术上可以通过正则的Unicode属性匹配语法（如\p{Pd}对应短横标点、\p{Ps}对应开标点）完成字符分类匹配，但存在明显的实现缺陷：
  • 需要逐类编写正则替换规则，后续维护成本远高于原生API的集合判断
  • 很难简洁实现“连续多个空格类字符仅合并为单个空格”的状态逻辑，需要多轮正则替换才能达到同等效果
• 不推荐在该场景下使用正则实现等价逻辑。

内容的提问来源于stack exchange，提问作者Amine Ben Khelifa