如何用正则表达式检测Oracle中含4字节UTF-8字符的行？

我来帮你搞定这个问题！之前你尝试的UTF-16补充字符正则方案报错，大概率是因为Oracle不同版本对Unicode正则的支持有限，尤其是\p{Supplementary}这类语法在部分版本里会触发ORA-12728错误。不过我们可以换个思路，直接针对Oracle文档里的UTF-8十六进制范围来写正则，用字节匹配的方式更可靠。

核心思路 #

Oracle的UTL_RAW.CAST_TO_RAW函数可以把字符串转换成RAW类型（十六进制字节序列），然后我们用REGEXP_LIKE直接匹配4字节UTF-8对应的字节范围——也就是你提到的文档B-2表第5行（补充字符）和第6行（私有使用区#2）的编码。

具体查询语句 #

下面的SQL会统计包含这两类4字节UTF-8字符的行数：

SELECT COUNT(*)
FROM mytable
WHERE REGEXP_LIKE(
    UTL_RAW.CAST_TO_RAW(mycolumn),
    -- 匹配补充字符（U+10000到U+DFFFF）的UTF-8字节序列
    'F0(9[0-9A-F]|A[0-9A-F]|B[0-8])[0-9A-F]{2}|' ||
    'F[1-3][0-9A-F]{3}|' ||
    -- 匹配私有使用区#2（U+F0000到U+10FFFF）的UTF-8字节序列
    'F4(9[0-9A-F]|A[0-9A-F]|B[0-9A-F])[0-9A-F]{2}|' ||
    'F[5-7][0-9A-F]{3}'
);

正则表达式拆解 #

我们来逐个解释每个部分对应的编码范围：

• F0(9[0-9A-F]|A[0-9A-F]|B[0-8])[0-9A-F]{2}：对应补充字符里U+10000到U+DFFFF的起始部分，UTF-8以F0开头，第二个字节范围是90-B8
• F[1-3][0-9A-F]{3}：对应补充字符里U+40000到U+DFFFF的剩余部分，UTF-8以F1-F3开头
• F4(9[0-9A-F]|A[0-9A-F]|B[0-9A-F])[0-9A-F]{2}：对应私有使用区#2里U+F0000到U+10FFFF的起始部分，UTF-8以F4开头，第二个字节范围是90-BF
• F[5-7][0-9A-F]{3}：对应私有使用区#2里U+100000到U+10FFFF的剩余部分，UTF-8以F5-F7开头

注意事项 #

• 确保你的数据库字符集是AL32UTF8：只有这个字符集原生支持4字节UTF-8字符，如果是UTF8（实际是CESU-8），4字节字符会被拆分成两个代理对，这个方法就不适用了。
• 性能优化：如果表数据量很大，建议给mycolumn加函数索引（基于UTL_RAW.CAST_TO_RAW(mycolumn)），避免全表扫描。

内容的提问来源于stack exchange，提问作者user2023507