如何配置Whoosh查询解析器，实现近似内容的非精确搜索？

问题场景 #

需要用Whoosh搜索非完全匹配但高度近似的文档（比如仅缺失一个词的情况）。基础代码在查询能覆盖所有文档时正常运行，但修改查询后无法返回全部3个文档：

• 查询TV Ultra HD仅返回2个结果
• 查询TV 4K Ultra HD仅返回1个结果
• 查询TV HD 2022无结果

原基础代码：

import os.path
from whoosh.fields import Schema, TEXT
from whoosh.index import create_in, open_dir
from whoosh.qparser import QueryParser


if not os.path.exists("index"):
    os.mkdir("index")

schema = Schema(title=TEXT(stored=True))
ix = create_in("index", schema)
ix = open_dir("index")

writer = ix.writer()
writer.add_document(title=u'TV Ultra HD')
writer.add_document(title=u'TV HD')
writer.add_document(title=u'TV 4K Ultra HD')
writer.commit()

with ix.searcher() as searcher:
    parser = QueryParser('title', ix.schema)
    myquery = parser.parse(u'TV HD')
    results = searcher.search(myquery)
    
    for result in results:
        print(result)

解决方案 #

1. 修改查询逻辑为OR匹配 #

Whoosh默认的QueryParser使用AndGroup，要求所有查询词都出现在文档中才会匹配。改用OrGroup后，只要有任意一个查询词匹配就返回文档，同时会根据匹配词的数量自动评分（匹配越多排名越靠前）。

修改查询解析器的初始化代码：

from whoosh.qparser import OrGroup

# 初始化解析器时指定OrGroup，设置最少匹配1个词
parser = QueryParser('title', ix.schema, group=OrGroup(minimum=1))

2. 过滤无关查询词（可选） #

如果查询中包含索引里不存在的词（比如2022），可以过滤掉这些无效词，避免影响匹配结果：

from whoosh.query import Term

myquery = parser.parse(u'TV HD 2022')
# 过滤掉索引中不存在的Term查询
filtered_query = myquery.filter(lambda q: isinstance(q, Term) and searcher.has_term('title', q.text) or not isinstance(q, Term))
results = searcher.search(filtered_query)

完整修改代码 #

import os.path
from whoosh.fields import Schema, TEXT
from whoosh.index import create_in, open_dir
from whoosh.qparser import QueryParser, OrGroup
from whoosh.query import Term


if not os.path.exists("index"):
    os.mkdir("index")

schema = Schema(title=TEXT(stored=True))
ix = create_in("index", schema)
ix = open_dir("index")

writer = ix.writer()
writer.add_document(title=u'TV Ultra HD')
writer.add_document(title=u'TV HD')
writer.add_document(title=u'TV 4K Ultra HD')
writer.commit()

with ix.searcher() as searcher:
    # 使用OrGroup设置最少匹配1个词
    parser = QueryParser('title', ix.schema, group=OrGroup(minimum=1))
    
    # 测试所有目标查询
    test_queries = ['TV HD', 'TV Ultra HD', 'TV 4K Ultra HD', 'TV HD 2022']
    for query_str in test_queries:
        myquery = parser.parse(query_str)
        # 过滤无效查询词
        myquery = myquery.filter(lambda q: isinstance(q, Term) and searcher.has_term('title', q.text) or not isinstance(q, Term))
        results = searcher.search(myquery)
        
        print(f"\n查询内容: {query_str}")
        print(f"命中数量: {len(results)}")
        for idx, result in enumerate(results, 1):
            print(f"  {idx}. {result['title']} (匹配评分: {result.score:.2f})")

运行效果 #

所有测试查询都会返回3个文档，并且按照匹配词数从多到少排序，符合近似匹配的需求。

内容的提问来源于stack exchange，提问作者yoloven