如何量化字符编码错误？Oracle(Windows-1252)转UTF-8差异字符串统计

你可以通过Oracle内置的编码转换工具和正则表达式，直接统计出包含两种编码下显示结果不同的字符的字符串数量，具体方法如下：

方法一：通过编码往返转换验证差异 #

利用UTL_I18N包做编码的往返转换，如果转换后的结果和原字符串不一致，说明这个字符串包含编码冲突的字符。执行以下SQL：

SELECT COUNT(DISTINCT your_column) AS conflict_string_count
FROM your_table
WHERE your_column != UTL_I18N.CONVERT(
    UTL_I18N.CONVERT(your_column, 'AL32UTF8', 'WE8MSWIN1252'),
    'WE8MSWIN1252', 'AL32UTF8'
);

替换your_column为目标字段名，your_table为目标表名即可。这个逻辑的核心是：把Windows-1252编码的字符串转成UTF-8，再转回Windows-1252，若和原字符串不符，说明中间转换时出现了字符丢失或篡改——这类字符串就是两种编码下显示结果不同的对象。

方法二：直接筛查高风险字符范围 #

Windows-1252的0x80-0x9F区间（对应ASCII码128-159）的字符，在UTF-8中没有直接匹配的单字节字符，大概率会被解析为乱码。可以用正则直接统计包含这些字符的字符串：

SELECT COUNT(DISTINCT your_column) AS high_risk_string_count
FROM your_table
WHERE REGEXP_LIKE(your_column, '[' || CHR(128) || '-' || CHR(159) || ']');

额外建议 #

• 大表查询前先抽样验证（比如加ROWNUM <= 1000），避免全表扫描耗时过长
• 若需要拿出具体案例说服DBA，可提取这些异常字符串：

SELECT your_column
FROM your_table
WHERE your_column != UTL_I18N.CONVERT(
    UTL_I18N.CONVERT(your_column, 'AL32UTF8', 'WE8MSWIN1252'),
    'WE8MSWIN1252', 'AL32UTF8'
)
FETCH FIRST 100 ROWS ONLY;

内容的提问来源于stack exchange，提问作者astel