Python实现元素去重:电影筛选下拉列表多题材电影重复问题咨询
问题核心根因
- 现有去重判断逻辑完全失效:循环中执行
row["title"] not in movies判断时,movies列表存储的是包含movie、imdbPageID两个键的字典对象,并非纯标题字符串。字符串类型的原始标题与字典类型的列表元素永远无法相等,该判断永远返回真,根本无法拦截重复条目,数据库返回多少条匹配文档,就会往列表里追加多少条。 - 《DRUK》重复出现2次的场景,本质是这部电影因匹配不同题材标签被查询命中2次,叠加去重逻辑完全失效,最终生成两个字段完全一致的下拉选项。
修复方案
- 替换可靠的去重判定依据:使用
imdbPageID(IMDB全局唯一电影标识)作为去重判断的唯一键,既避免不同电影同名导致的误判,也彻底绕开之前类型不匹配的判断bug。 - 修正数组类型字段的查询逻辑,保障多题材标签电影的匹配准确性。
修复后可直接落地的代码
def create_movies_drop_down(self): movies = [] # 维护已加入列表的电影唯一ID集合,实现O(1)时间复杂度的去重判断 added_ids = set() if "genres" in self.mappingQuery: # 匹配genres数组中包含目标标签的所有文档 mapping = [row for row in dataLakeDB["nordisk-film-movie-mapping"].find( {"genres": {"$in": [self.mappingQuery["genres"]]}} )] else: mapping = [row for row in dataLakeDB["nordisk-film-movie-mapping"].find()] for row in mapping: # 基于IMDB唯一ID做存在性校验 if row["imdbPageID"] not in added_ids: added_ids.add(row["imdbPageID"]) movies.append(dict( movie = row["title"][0].upper()+row["title"][1:], imdbPageID = row["imdbPageID"] )) return movies
优化提示
- 原代码中的查询写法
dict(genres = self.mappingQuery["genres"])对数组类型的genres字段,在查询参数为单个题材值时可正常匹配,但如果查询参数传入多个题材值,会变成要求数据库文档的genres数组与传入数组完全相等,漏匹配带其他标签的同题材电影,替换为$in的数组匹配规则后兼容性更强。 - 后续可进一步在数据库查询阶段直接对
imdbPageID做去重投影,减少从数据库拉取的冗余数据量,提升接口响应速度。
内容的提问来源于stack exchange,提问作者Sebastian Strauss Hansen
相关产品推荐
相关产品推荐

