数据库为UTF8且不升级UTF8MB4时，后端如何验证BMP范围内字符

一、正则表达式校验 #

可以直接用匹配BMP字符范围的正则表达式校验字符串是否仅包含U+0000至U+FFFF的字符，对应的正则为：

^[\u0000-\uffff]*$

这个正则会匹配所有字符都在BMP范围内的字符串，只要存在超出BMP的字符（比如大部分表情符号），匹配就会失败。

不同语言中的使用示例：

Python #

import re

def is_bmp_only(input_str):
    # fullmatch确保整个字符串都符合规则
    return re.fullmatch(r'^[\u0000-\uffff]*$', input_str) is not None

Java #

import java.util.regex.Pattern;

public class BmpCharValidator {
    private static final Pattern BMP_PATTERN = Pattern.compile("^[\\u0000-\\uffff]*$");
    
    public static boolean isBmpOnly(String inputStr) {
        return BMP_PATTERN.matcher(inputStr).matches();
    }
}

二、直接遍历字符校验 #

除了正则，还可以直接遍历字符串的每个字符，判断其Unicode码点是否在0x0000到0xFFFF之间，这种方法更直观，也能避免正则引擎的差异问题。

Python #

def is_bmp_only(input_str):
    # ord(c)获取字符的Unicode码点，判断是否≤0xFFFF
    return all(ord(char) <= 0xFFFF for char in input_str)

Java #

public class BmpCharValidator {
    public static boolean isBmpOnly(String inputStr) {
        for (int i = 0; i < inputStr.length(); i++) {
            char c = inputStr.charAt(i);
            // 检查是否是UTF-16的代理对（对应超出BMP的字符）
            if (Character.isHighSurrogate(c) || Character.isLowSurrogate(c)) {
                return false;
            }
        }
        return true;
    }
}

三、额外处理建议 #

• 如果不需要直接拒绝超出范围的字符，而是要过滤掉它们，可以遍历字符串保留符合要求的字符，比如Python中：

  filtered_str = ''.join(char for char in input_str if ord(char) <= 0xFFFF)
  

• 部分后端框架自带字符范围校验的工具类，优先使用框架提供的方法，能减少自定义实现的潜在问题。

内容的提问来源于stack exchange，提问作者user24492691