多语言字符集适配：寻求通用化用户姓名搜索优化方案

我们有一款基础用户搜索应用，用户输入部分或完整的名/姓，应用返回匹配的用户。目前服务大量国际用户，涉及多种语言字符集。希望优化搜索功能，使用户用英文对应字母替换特殊字符时仍能返回匹配结果，例如输入‘Mueller’或‘Muller’都能找到‘Müller’。

目前已通过setlocale与iconv组合实现该功能，代码如下：

setlocale(LC_ALL,'de_DE.UTF-8');
$de_stringconv = iconv('UTF-8', 'ASCII//TRANSLIT', $string);
$de_wordconv = iconv('UTF-8', 'ASCII//TRANSLIT', $word);
$de_match = strpos(mb_strtolower($de_stringconv), mb_strtolower($de_wordconv)) !== false;

setlocale(LC_ALL, 'en_GB.UTF-8');
$en_stringconv = iconv('UTF-8', 'ASCII//TRANSLIT', $string);
$en_wordconv = iconv('UTF-8', 'ASCII//TRANSLIT', $word);
$en_match = strpos(mb_strtolower($en_stringconv), mb_strtolower($en_wordconv)) !== false;

return $en_match || $de_match;

该代码对德语、荷兰语和英语姓名有效，但无法处理土耳其语姓名（尤其是含“ı”的情况）。请问是否存在无需设置特定setlocale()的通用代码，可处理所有语言的特殊字符？

方案1：使用PHP的Normalizer类（推荐） #

借助PHP的Normalizer类（需启用intl扩展），可以将Unicode字符标准化，把带变音符号的字符分解为基础字符+变音标记，再过滤掉标记得到纯ASCII基础字符，完全无需依赖系统locale。

示例代码：

function normalizeString(string $str): string {
    // 标准化为NFD形式，分离基础字符与变音符号
    $normalized = Normalizer::normalize($str, Normalizer::FORM_NFD);
    // 移除所有变音符号（Unicode类别Mn：非间距标记）
    return preg_replace('/[\p{Mn}]/u', '', $normalized);
}

// 匹配逻辑
$normalizedString = mb_strtolower(normalizeString($string));
$normalizedWord = mb_strtolower(normalizeString($word));
return strpos($normalizedString, $normalizedWord) !== false;

这个方法能覆盖绝大多数语言的特殊字符，包括土耳其语的“ı”（转换为“i”）、德语的“ü/ö/ä”等，无需切换locale。

方案2：自定义字符映射表 #

如果无法启用intl扩展，可以手动定义覆盖多语言特殊字符的映射数组，将特殊字符替换为对应的ASCII字符。

示例代码：

function replaceSpecialChars(string $str): string {
    $charMap = [
        // 土耳其语
        'ı' => 'i', 'İ' => 'I',
        // 德语
        'ü' => 'u', 'ö' => 'o', 'ä' => 'a', 'Ü' => 'U', 'Ö' => 'O', 'Ä' => 'A', 'ß' => 'ss',
        // 罗曼语族
        'é' => 'e', 'è' => 'e', 'ê' => 'e', 'ë' => 'e',
        'á' => 'a', 'à' => 'a', 'â' => 'a',
        'ó' => 'o', 'ò' => 'o', 'ô' => 'o',
        // 可根据业务需求扩展更多字符
    ];
    return strtr(mb_strtolower($str), $charMap);
}

// 匹配逻辑
$processedString = replaceSpecialChars($string);
$processedWord = replaceSpecialChars($word);
return strpos($processedString, $processedWord) !== false;

这种方法完全不依赖系统扩展或locale，但需要手动维护映射表，覆盖的语言越多，维护成本越高。

方案3：数据库层面优化（长期方案） #

如果搜索数据存储在数据库中，建议提前将所有姓名标准化后存储为单独字段（比如normalized_name）。用户搜索时先标准化输入内容，再直接查询这个字段。

以MySQL为例，可以使用自定义函数或内置函数实现标准化，这样能大幅提升搜索性能，避免每次搜索都在PHP中处理字符串。

内容的提问来源于stack exchange，提问作者Amrita Deb