求助：MSSQL如何查询含错误编码的nvarchar类型数据

这种乱码排查的问题真的挺棘手的——我之前维护老系统时也碰到过一模一样的情况：特殊字符（比如你说的ø）因为插入时编码不匹配，变成了显示的�，但直接搜�或者用简单正则根本找不到目标行，太闹心了。

为什么直接搜�没用？ #

你看到的�其实是替换字符（U+FFFD），它是系统用来表示“无法识别的无效字节序列”的占位符。但数据库里实际存储的可能不是这个字符本身，而是编码错误后留下的原始无效字节——比如原本的ø（UTF-8编码是0xC3B8），如果插入时被当成了Latin1编码读取，再存入UTF-8列，就会变成无效字节，最终显示为�，但数据库里存的是错误的字节值，不是U+FFFD，所以直接搜�自然找不到。

具体解决方法 #

根据你使用的数据库类型，给你几个可行的方案：

1. MySQL（推荐8.0+版本）

MySQL 8.0提供了VALIDATE_CHARACTER_SET()函数，可以直接检查字符串是否符合指定字符集，非常好用：

-- 筛选所有不符合utf8mb4编码的行（也就是包含乱码的行）
SELECT * FROM your_table
WHERE VALIDATE_CHARACTER_SET(your_column, 'utf8mb4') = 0;

如果你的数据库用的是utf8（非utf8mb4），把函数里的字符集改成utf8即可。

你还可以结合HEX()函数查看乱码对应的字节值，方便后续修复：

SELECT your_column, HEX(your_column)
FROM your_table
WHERE VALIDATE_CHARACTER_SET(your_column, 'utf8mb4') = 0;

比如如果看到HEX值是F8，那对应的Latin1字符就是ø，可以用下面的语句批量修复（一定要先备份数据！）：

UPDATE your_table
SET your_column = REPLACE(CONVERT(your_column USING latin1), CHAR(0xF8), 'ø')
WHERE VALIDATE_CHARACTER_SET(your_column, 'utf8mb4') = 0;

2. SQL Server

在SQL Server里，�对应的是CHAR(65533)，但如果直接搜不到，可以尝试用二进制匹配，或者检查无效字符：

-- 方法1：直接匹配替换字符
SELECT * FROM your_table
WHERE your_column LIKE '%' + CHAR(65533) + '%';

-- 方法2：用二进制排序规则匹配原始字节（假设乱码字节是0xF8）
SELECT * FROM your_table
WHERE your_column COLLATE Latin1_General_BIN LIKE '%' + CAST(0xF8 AS VARCHAR(1)) + '%';

3. PostgreSQL

PostgreSQL里可以用正则匹配无效的UTF-8序列，或者检查字节与字符数的异常：

-- 匹配所有包含无效UTF-8字符的行
SELECT * FROM your_table
WHERE your_column !~ '^[\x00-\x7F\xC2-\xF4][\x80-\xBF]*$';

-- 或者检查字节长度和字符长度不匹配的行（无效序列会导致这个差异）
SELECT * FROM your_table
WHERE octet_length(your_column) != char_length(your_column);

注意事项 #

• 备份优先：不管是筛选还是修复，一定要先备份目标表，避免误操作导致数据丢失。
• 确认字符集：先搞清楚你的数据库列当前的字符集，以及原始数据应该用的编码（比如是UTF-8还是Latin1），这是修复的关键。
• 小范围测试：批量修复前，先选几行测试替换语句，确保效果符合预期。

内容的提问来源于stack exchange，提问作者DaCh