SQL Server中阿拉伯语词变体检索及存储解决方案咨询

针对你遇到的阿拉伯语词汇变音变体（如القوم的带符号写法الْقَوْمِ、الْقَوْمُ等）无法通过普通LIKE查询匹配的问题，以下是两种适用于SQL Server的解决方案：

方案一：移除变音符号+持久化计算列（适合简单模糊匹配） #

步骤1：创建移除变音符号的标量函数 #

阿拉伯语的变音符号（Tashkeel）对应Unicode码点U+064B到U+065F，通过函数批量替换这些字符即可得到无变音的标准文本：

CREATE FUNCTION dbo.RemoveArabicTashkeel (@Input NVARCHAR(MAX))
RETURNS NVARCHAR(MAX)
AS
BEGIN
    DECLARE @Output NVARCHAR(MAX) = @Input
    -- 逐一移除所有阿拉伯语变音符号
    SET @Output = REPLACE(@Output, NCHAR(0x064B), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x064C), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x064D), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x064E), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x064F), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0650), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0651), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0652), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0653), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0654), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0655), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0656), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0657), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0658), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x0659), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065A), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065B), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065C), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065D), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065E), N'')
    SET @Output = REPLACE(@Output, NCHAR(0x065F), N'')
    RETURN @Output
END

步骤2：添加持久化计算列并创建索引 #

为了提升查询性能，将移除变音后的文本存储为持久化计算列，并为其创建索引：

-- 添加持久化计算列
ALTER TABLE TestTable
ADD ArabicChars_NoTashkeel AS dbo.RemoveArabicTashkeel(ArabicChars) PERSISTED

-- 创建非聚集索引（优化模糊查询性能）
CREATE NONCLUSTERED INDEX IX_TestTable_ArabicChars_NoTashkeel ON TestTable(ArabicChars_NoTashkeel)

步骤3：执行查询 #

直接通过计算列进行匹配，即可返回所有变体行：

SELECT *
FROM TestTable
WHERE ArabicChars_NoTashkeel LIKE '%القوم%'

方案二：全文索引（适合复杂文本检索） #

SQL Server的全文索引内置阿拉伯语语言支持，可自动处理变音符号、词根匹配等场景：

步骤1：启用数据库全文索引 #

EXEC sp_fulltext_database 'enable'

步骤2：创建全文目录与索引 #

-- 创建全文目录
CREATE FULLTEXT CATALOG ftCatalog AS DEFAULT

-- 为目标列创建全文索引（替换PK_TestTable为你的表主键索引名）
CREATE FULLTEXT INDEX ON TestTable(ArabicChars LANGUAGE Arabic)
KEY INDEX PK_TestTable

步骤3：执行全文查询 #

使用CONTAINS或FREETEXT进行检索：

-- 精确匹配变体
SELECT *
FROM TestTable
WHERE CONTAINS(ArabicChars, N'القوم')

-- 语义匹配（支持词根、同义词等扩展检索）
SELECT *
FROM TestTable
WHERE FREETEXT(ArabicChars, N'القوم')

方案对比 #

• 计算列方案：逻辑简单，维护成本低，适合基础模糊匹配场景，查询性能稳定。
• 全文索引方案：支持更复杂的语言学检索规则，适合需要深度文本分析的场景，但配置和维护相对复杂。

内容的提问来源于stack exchange，提问作者Hanan Emam