Unicode字符串分割及PostgreSQL全文搜索后端类空格字符处理问询

兄弟，你的担心完全正确——只靠explode(" ", $rawseachstring)来分割搜索词在Unicode场景下根本行不通，因为Unicode里有一大堆类空格字符，比如：

• 全角空格（U+3000，中文里常用的宽空格）
• 非断空格（U+00A0，很多网页用来防止换行的空格）
• 各种窄空格、零宽空格（U+2000到U+200A系列）
• 制表符、换行符这类传统空白字符

这些字符看起来和普通空格没区别，但explode根本识别不了，会导致搜索词分割错误——比如用户输入带全角空格的关键词，你会把整个字符串当成一个词去搜，结果自然不对。

针对你的PHP7+PostgreSQL 9.5 tsearch技术栈，给你两个关键解决方案：

1. PHP端：用Unicode兼容的正则分割搜索词 #

直接放弃explode，改用支持Unicode的正则表达式来匹配所有空白字符，代码示例：

// 分割所有Unicode空白字符，自动过滤空结果
$searchTerms = preg_split('/\p{Z}+/u', $rawSearchString, -1, PREG_SPLIT_NO_EMPTY);

这里的\p{Z}是PCRE正则里的Unicode分隔符类，能匹配所有Unicode标准定义的空白/分隔字符；u修饰符必须加，告诉PHP按Unicode模式处理字符串；PREG_SPLIT_NO_EMPTY会自动去掉分割后产生的空字符串（比如用户输入前后的空格）。

2. 结合PostgreSQL tsearch优化搜索逻辑 #

既然你已经用了tsearch做索引，别浪费它的能力：

• 把分割后的搜索词用tsearch的语法拼接成查询，比如用&表示“同时包含所有词”，|表示“包含任意词”，然后用to_tsquery生成查询语句。
• 用ts_rank计算匹配度，按匹配度排序结果。

示例PHP代码（简化版）：

// 转义tsearch的特殊字符（&、|、!等），避免语法错误
$escapedTerms = array_map(function($term) {
    return pg_escape_string($term);
}, $searchTerms);

// 拼接成tsearch查询（这里用AND逻辑，可根据需求改成OR）
$tsQuery = implode(' & ', $escapedTerms);
$dbQuery = "
    SELECT *, ts_rank(text_tsvector, to_tsquery('$tsQuery')) AS rank
    FROM your_table
    WHERE text_tsvector @@ to_tsquery('$tsQuery')
    ORDER BY rank DESC
";

额外注意事项 #

• 确保你的PostgreSQL数据库编码是UTF8（这是支持Unicode的前提，你应该已经设置了）。
• 测试各种特殊空白字符：比如复制全角空格、非断空格到搜索框，验证分割是否正确。
• 如果涉及多语言关键词，tsearch的词典要配置对应语言的停用词和词干分析，比如中文可以用zhparser扩展。

内容的提问来源于stack exchange，提问作者Erwin Moller