MySQL多语言正则搜索失效及波兰语无变音匹配问题求助

一、统一字符集与排序规则 #

你的表默认字符集为utf8，但description列单独使用utf8mb4_bin，这种字符集/排序规则不一致是导致非拉丁语系字符匹配异常的核心原因之一。先统一整个表的字符集：

ALTER TABLE items 
CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

该操作会将所有列转换为utf8mb4（支持全Unicode字符，包括俄语、波兰语变音），排序规则采用utf8mb4_unicode_ci（对多语言字符的匹配逻辑更友好）。

二、修复俄语REGEXP搜索失效问题 #

MySQL传统REGEXP基于字节匹配，对非拉丁语系字符支持差。通过强制指定排序规则，让正则匹配基于字符而非字节执行：

单俄语词搜索 #

SELECT * FROM items 
WHERE description COLLATE utf8mb4_unicode_ci REGEXP '[[:<:]]Привет[[:>:]]';

多俄语词搜索（如匹配Привет或Андрей） #

SELECT * FROM items 
WHERE description COLLATE utf8mb4_unicode_ci REGEXP '[[:<:]](Привет|Андрей)[[:>:]]';

说明：[[:<:]]和[[:>:]]是MySQL的单词边界标识，需配合正确的排序规则使用；若使用MySQL 8.0+，也可替换为\b，但需确保正则模式为Unicode兼容。

三、实现波兰语变音不敏感搜索 #

要让zolw和zółw都匹配到żółw，提供两种可行方案：

方案1：MySQL函数预处理字符（移除变音） #

创建函数统一移除波兰语变音符号，搜索时同时处理字段和关键词：

DELIMITER //
CREATE FUNCTION remove_pl_diacritics(input TEXT) RETURNS TEXT
DETERMINISTIC
BEGIN
    SET input = REPLACE(input, 'ż', 'z');
    SET input = REPLACE(input, 'ź', 'z');
    SET input = REPLACE(input, 'ć', 'c');
    SET input = REPLACE(input, 'ń', 'n');
    SET input = REPLACE(input, 'ó', 'o');
    SET input = REPLACE(input, 'ł', 'l');
    SET input = REPLACE(input, 'ą', 'a');
    SET input = REPLACE(input, 'ę', 'e');
    SET input = REPLACE(input, 'ś', 's');
    RETURN input;
END //
DELIMITER ;

搜索示例：

SELECT * FROM items 
WHERE remove_pl_diacritics(description) REGEXP '[[:<:]]' || remove_pl_diacritics('zolw') || '[[:>:]]';

方案2：PHP端正则字符类替换 #

在PHP中将关键词的基础字符替换为包含对应变音的正则字符类，再传入SQL，避免MySQL函数的性能开销：

// 波兰语变音映射表
$diacriticMap = [
    'z' => '[zżź]',
    'o' => '[oó]',
    'c' => '[cć]',
    'n' => '[nń]',
    'l' => '[lł]',
    'a' => '[aą]',
    'e' => '[eę]',
    's' => '[sś]',
];

// 处理关键词：替换变音字符为正则类
$keyword = strtr(strtolower($keyword), $diacriticMap);
// 处理多词：空格分隔转为正则OR逻辑
$keyword = preg_replace('/\s+/', '|', $keyword);

// 构建最终SQL
$sql = "SELECT * FROM items 
        WHERE description COLLATE utf8mb4_unicode_ci 
        REGEXP '[[:<:]]({$keyword})[[:>:]]'";

四、优化建议 #

• 若使用MySQL 5.7及以下版本，Unicode正则支持有限，建议升级到MySQL 8.0+以获得更完善的多语言正则匹配能力。
• 对于高频搜索场景，可考虑添加FULLTEXT全文索引，结合MATCH AGAINST实现更高效的多语言搜索，需注意配置全文索引对非拉丁语系的支持参数。

内容的提问来源于stack exchange，提问作者Sylwester Bogusiak