You need to enable JavaScript to run this app. Python实现元素去重:电影筛选下拉列表多题材电影重复问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

Python实现元素去重:电影筛选下拉列表多题材电影重复问题咨询

问题核心根因
  • 现有去重判断逻辑完全失效:循环中执行row["title"] not in movies判断时,movies列表存储的是包含movie、imdbPageID两个键的字典对象,并非纯标题字符串。字符串类型的原始标题与字典类型的列表元素永远无法相等,该判断永远返回真,根本无法拦截重复条目,数据库返回多少条匹配文档,就会往列表里追加多少条。
  • 《DRUK》重复出现2次的场景,本质是这部电影因匹配不同题材标签被查询命中2次,叠加去重逻辑完全失效,最终生成两个字段完全一致的下拉选项。
修复方案
  • 替换可靠的去重判定依据:使用imdbPageID(IMDB全局唯一电影标识)作为去重判断的唯一键,既避免不同电影同名导致的误判,也彻底绕开之前类型不匹配的判断bug。
  • 修正数组类型字段的查询逻辑,保障多题材标签电影的匹配准确性。

修复后可直接落地的代码

def create_movies_drop_down(self):
    movies = []
    # 维护已加入列表的电影唯一ID集合,实现O(1)时间复杂度的去重判断
    added_ids = set()

    if "genres" in self.mappingQuery:
        # 匹配genres数组中包含目标标签的所有文档
        mapping = [row for row in dataLakeDB["nordisk-film-movie-mapping"].find(
            {"genres": {"$in": [self.mappingQuery["genres"]]}}
        )]
    else:
        mapping = [row for row in dataLakeDB["nordisk-film-movie-mapping"].find()]
    
    for row in mapping:
        # 基于IMDB唯一ID做存在性校验
        if row["imdbPageID"] not in added_ids:
            added_ids.add(row["imdbPageID"])
            movies.append(dict(
                movie = row["title"][0].upper()+row["title"][1:],
                imdbPageID = row["imdbPageID"]
            ))
    return movies
优化提示
  • 原代码中的查询写法dict(genres = self.mappingQuery["genres"])对数组类型的genres字段,在查询参数为单个题材值时可正常匹配,但如果查询参数传入多个题材值,会变成要求数据库文档的genres数组与传入数组完全相等,漏匹配带其他标签的同题材电影,替换为$in的数组匹配规则后兼容性更强。
  • 后续可进一步在数据库查询阶段直接对imdbPageID做去重投影,减少从数据库拉取的冗余数据量,提升接口响应速度。

内容的提问来源于stack exchange,提问作者Sebastian Strauss Hansen

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 01:06:02