如何去除Django多关键词查询结果QuerySet的重复对象
Django 多关键词职位检索的结果去重问题
场景说明
针对职位标题做多关键词模糊检索时,同一条职位记录会被多个匹配关键词命中,导致最终收集的结果集合中出现重复的Vacancy对象。
初始实现代码
>>> query = ['software', 'engineer'] >>> hits = [] >>> for q in query: ... x = Vacancy.objects.filter(Q(job_title__icontains=q)) ... hits.append(x) ... >>> hits [<QuerySet [<Vacancy: 6 Software Engineer>]>, <QuerySet [<Vacancy: 6 Software Engineer>]>]
去重失效的原因
之前尝试用dict.fromkeys对结果去重但完全没有生效,核心问题在于:hits列表中存的元素不是单个Vacancy对象,而是两个独立的QuerySet实例。即便两个QuerySet内部指向完全相同的数据库记录,二者本身是不同的对象,不会被去重逻辑判定为重复项。
对应的无效尝试代码:
>>> hits = list(dict.fromkeys(hits)) >>> hits [<QuerySet [<Vacancy: 6 Software Engineer>]>, <QuerySet [<Vacancy: 6 Software Engineer>]>]
可用的解决方法
- 优先推荐的优化方案:把逐关键词循环查询的逻辑合并为一次数据库查询,利用ORM自带的去重能力从根源避免重复
把所有关键词的筛选条件用OR逻辑拼接,一次查询后直接调用distinct()去重,既能得到无重复的结果,还能减少循环查库带来的性能损耗:from django.db.models import Q query = ['software', 'engineer'] query_filter = Q() for q in query: # 逐次把关键词的模糊匹配条件用OR逻辑拼接 query_filter |= Q(job_title__icontains=q) # 一次查询+去重,直接得到无重复的结果集合 hits = Vacancy.objects.filter(query_filter).distinct() - 保留原有循环流程的适配方案:如果业务逻辑必须保留逐关键词查询、逐次收集结果的流程,就不要把整个QuerySet存入列表,而是展开为具体的Vacancy对象,基于主键做去重:
hits = [] # 用集合记录已经收录过的职位主键,利用主键唯一性避免重复 recorded_ids = set() for q in query: x = Vacancy.objects.filter(Q(job_title__icontains=q)) for vacancy in x: if vacancy.id not in recorded_ids: recorded_ids.add(vacancy.id) hits.append(vacancy)
内容的提问来源于stack exchange,提问作者sarchi-xo
相关产品推荐
相关产品推荐

