如何正确识别NVARCHAR字段中非ASCII字符的Unicode值与对应字符

问题原因 #

你遇到的核心问题是ASCII()和CHAR()函数对Unicode字符的处理局限性：

• ASCII()仅能正确处理ASCII码范围（0-127）的字符，对于Unicode字符（码点>127），它会返回该字符UTF-16编码的第一个字节值，而非字符的真实码点。比如智能引号“（U+201C）和”（U+201D）的UTF-16编码是双字节，ASCII()取第一个字节得到十进制226，这并不是字符本身的有效ASCII值。
• CHAR()函数依赖数据库默认代码页，当传入的数值超出当前代码页可表示的范围时，就会返回NULL。而NCHAR()是基于Unicode的函数，可以正确返回任何Unicode码点对应的字符。
• 另外，8220和8221是标准的Unicode码点（对应左、右智能引号），并非HTML代码——HTML中的“和”实体正是映射到这两个Unicode码点。

改进后的字符分析函数 #

修改原函数，用NCHAR()替代CHAR()，移除冗余的ASCII列，增加是否为ASCII字符的标记，同时替换SDU_Tools.StringLength为通用的LEN()函数：

CREATE FUNCTION [dbo].[charVal] (@inStr nvarchar(max))
RETURNS @returnTable TABLE (
    [id]                 int identity(1,1),
    [unicode_code_point] int,
    [char]               nvarchar(5),
    [is_ascii]           bit
)
AS 
BEGIN
    DECLARE
        @cnt int = 1,
        @max int = LEN(@inStr)

    WHILE @cnt <= @max
    BEGIN
        DECLARE @currentChar nvarchar(1) = SUBSTRING(@inStr, @cnt, 1)
        DECLARE @unicodeVal int = UNICODE(@currentChar)
        
        INSERT INTO @returnTable
        SELECT 
            @unicodeVal,
            NCHAR(@unicodeVal),
            CASE WHEN @unicodeVal BETWEEN 0 AND 127 THEN 1 ELSE 0 END
        SET @cnt = @cnt + 1  
    END
    RETURN
END

测试时注意传入Unicode字符串（加N前缀）：

SELECT * FROM dbo.charVal(N'“Friday”')

返回结果中，智能引号会正确显示，unicode_code_point列会给出真实的Unicode码点（8220和8221），is_ascii标记为0。

批量定位表中的非ASCII字符 #

假设你的表名为YourTable，目标字段为YourNvarcharColumn，可以用以下语句批量筛选所有非ASCII字符，并定位到具体行：

SELECT 
    t.PrimaryKeyColumn, -- 替换为你的表主键，用于定位问题行
    cv.id,
    cv.unicode_code_point,
    cv.char,
    cv.is_ascii
FROM YourTable t
CROSS APPLY dbo.charVal(t.YourNvarcharColumn) cv
WHERE cv.is_ascii = 0

整理问题字符列表 #

如果需要统计所有非ASCII字符的出现频率，生成问题字符清单：

SELECT 
    cv.unicode_code_point,
    cv.char,
    COUNT(*) AS occurrence_count
FROM YourTable t
CROSS APPLY dbo.charVal(t.YourNvarcharColumn) cv
WHERE cv.is_ascii = 0
GROUP BY cv.unicode_code_point, cv.char
ORDER BY occurrence_count DESC

内容的提问来源于stack exchange，提问作者Dizzy49