MSSQL中部分字母异常转为ASCII编码问题求助

遇到这种无规律的字符转义异常（同一个单词里部分e/n/t或土耳其语ı被转成e这类ASCII实体），而且只有5%的记录出问题，大概率是应用层或数据库端的局部处理逻辑漏洞导致的。结合你的环境（服务器默认英语、数据库排序规则Turkish_CI_AS），我整理了以下排查和解决步骤：

一、先查应用层的编码/转义逻辑 #

这是最有可能的根源，毕竟异常是零散出现的：

• 检查你程序里插入、更新数据的代码，有没有用到HTML转义的方法（比如.NET里的HttpUtility.HtmlEncode或者其他语言的类似工具）。会不会是代码逻辑有漏洞——比如只在特定条件下（比如字符在字符串的某个位置、或者遇到特殊上下文）才触发了转义，导致同一个单词里的部分字符被单独转义？
• 也可以看看前端输入环节：有没有某些输入框的处理逻辑有bug，部分字符被自动转义后才提交到后台？

二、确认数据库字段类型是否匹配 #

虽然你的排序规则是Turkish_CI_AS，但字段类型选错也可能搞出问题：

• 先检查存储这些字符串的字段是不是nvarchar（而不是varchar）。varchar是单字节编码，虽然能处理土耳其语，但对于ı这类Unicode字符容易出异常，甚至连带影响普通ASCII字符。跑下面的SQL查字段类型：

  SELECT COLUMN_NAME, DATA_TYPE, CHARACTER_MAXIMUM_LENGTH
  FROM INFORMATION_SCHEMA.COLUMNS
  WHERE TABLE_NAME = '你的表名' AND COLUMN_NAME = '你的字段名';
  

• 如果是varchar，建议改成nvarchar，改之前记得备份数据：

  ALTER TABLE 你的表名 ALTER COLUMN 你的字段名 NVARCHAR(255) COLLATE Turkish_CI_AS;
  

  括号里的长度你根据实际需求调整就行。

三、排查数据库端的自动处理逻辑 #

看看数据库里有没有自动修改字符的触发器或者存储过程：

• 查一下目标表有没有触发器：

  SELECT name FROM sys.triggers WHERE parent_id = OBJECT_ID('你的表名');
  

  找到触发器后看它的定义，是不是里面有不必要的字符转义逻辑？
• 另外也检查一下有没有被用来处理字符串的自定义函数，会不会是这些函数的逻辑漏洞导致部分字符被错误转义。

四、修复已经存在的异常数据 #

如果已经有一堆异常数据了，可以用REPLACE批量修复，比如：

-- 修复转义的e
UPDATE 你的表名
SET 你的字段名 = REPLACE(你的字段名, 'e', 'e')
WHERE 你的字段名 LIKE '%e%';

-- 修复转义的n
UPDATE 你的表名
SET 你的字段名 = REPLACE(你的字段名, 'n', 'n')
WHERE 你的字段名 LIKE '%n%';

-- 修复转义的t
UPDATE 你的表名
SET 你的字段名 = REPLACE(你的字段名, 't', 't')
WHERE 你的字段名 LIKE '%t%';

-- 修复转义的土耳其语ı
UPDATE 你的表名
SET 你的字段名 = REPLACE(你的字段名, 'ı', 'ı')
WHERE 你的字段名 LIKE '%ı%';

重要提示：跑更新前一定要先备份数据，或者先用SELECT验证修复结果：

SELECT 你的字段名, REPLACE(你的字段名, 'e', 'e') AS 修复后的值
FROM 你的表名
WHERE 你的字段名 LIKE '%e%';

五、验证数据库的编码设置 #

最后再确认一下数据库的核心设置有没有问题：

• 查数据库的默认排序规则是不是真的是Turkish_CI_AS：

  SELECT name, collation_name FROM sys.databases WHERE name = '你的数据库名';
  

• 服务器默认语言是英语没关系，只要数据库排序规则正确就不影响字符存储。你也可以确认一下排序规则对应的代码页：

  SELECT COLLATIONPROPERTY('Turkish_CI_AS', 'CodePage');
  

  Turkish_CI_AS对应的代码页是1254，要是不对的话就得调整排序规则了。

内容的提问来源于stack exchange，提问作者Hasan Durukan