如何降低含额外词汇行的MySQL布尔全文检索匹配评分？

嘿，这个需求我之前也碰到过，MySQL的布尔全文检索确实可以通过一些小技巧来实现你的目标——让精确匹配foo bar（或bar foo）的文档评分高于包含额外词汇（比如foo baz bar）的文档。我给你分享几个实用的方案：

方案一：结合词数调整布尔模式评分 #

布尔模式下默认的评分逻辑侧重匹配关键词的数量，但我们可以通过用基础评分除以文档总词数的方式，让词数更少（更接近精确匹配）的文档获得更高的调整后评分。

首先确保你的表已经创建了全文索引：

ALTER TABLE your_table ADD FULLTEXT INDEX idx_content(content_column);

然后使用如下查询语句：

SELECT 
    content_column,
    -- 基础布尔匹配评分
    MATCH(content_column) AGAINST('+foo +bar' IN BOOLEAN MODE) AS base_score,
    -- 先清理标点再计算文档总词数，避免标点干扰统计
    LENGTH(REGEXP_REPLACE(content_column, '[^a-zA-Z0-9 ]', '')) - LENGTH(REPLACE(REGEXP_REPLACE(content_column, '[^a-zA-Z0-9 ]', ''), ' ', '')) + 1 AS clean_word_count,
    -- 调整后的评分：基础评分除以词数，词数越多评分越低
    MATCH(content_column) AGAINST('+foo +bar' IN BOOLEAN MODE) / (LENGTH(REGEXP_REPLACE(content_column, '[^a-zA-Z0-9 ]', '')) - LENGTH(REPLACE(REGEXP_REPLACE(content_column, '[^a-zA-Z0-9 ]', ''), ' ', '')) + 1) AS adjusted_score
FROM your_table
WHERE MATCH(content_column) AGAINST('+foo +bar' IN BOOLEAN MODE)
ORDER BY adjusted_score DESC;

这样一来，foo bar和bar foo这类只有两个关键词的文档，调整后的评分会明显高于foo baz bar这种多了额外词汇的文档。

方案二：使用自然语言模式（更简洁） #

如果你不需要严格的布尔逻辑，MySQL的自然语言模式其实天生就会考虑关键词在文档中的密度——匹配词占文档总词数的比例越高，相关性评分就越高。这正好符合你的需求：

SELECT 
    content_column,
    MATCH(content_column) AGAINST('foo bar' IN NATURAL LANGUAGE MODE) AS relevance_score
FROM your_table
WHERE MATCH(content_column) AGAINST('foo bar' IN NATURAL LANGUAGE MODE)
ORDER BY relevance_score DESC;

在这个模式下，foo bar和bar foo因为关键词占比100%，评分会远高于包含额外词汇的文档，而且写法更简洁。需要注意的是，自然语言模式会自动忽略停用词，并且不关心关键词的顺序，完全匹配你的场景。

额外注意事项 #

• 检查MySQL的全文检索配置，比如ft_min_word_len参数，确保你的关键词长度不会被系统忽略。
• 如果你的内容是中文，可能需要使用支持中文分词的全文索引插件（比如ngram），否则默认的空格分词会失效。
• 如果需要更精细的评分控制，可以结合自定义函数来计算更准确的词数或关键词密度。

内容的提问来源于stack exchange，提问作者egoz