如何优化从JSON中批量移除指定列表值的操作效率？

你当前的代码慢的根本原因是遍历逻辑设计错误，时间复杂度高到离谱：

• 你现在是每取出一个待移除值，就把整个JSON结构完整遍历一遍，10000个待移除值就等于把全量JSON扫描10000次，99%以上的遍历操作都是完全重复的无效劳动。
• 待移除值用list存储，做成员判断时是线性扫描，本身效率极低；同时用range(len())做索引遍历、多级索引反复寻址、删除字段后不做跳过判断还会触发无效计算甚至潜在的KeyError。

原代码时间复杂度是O(待移除值数量 * JSON外层条目数 * 单条目下items数量)，待移除值到1万级时耗时必然会飙升到小时级。

核心思路是把遍历顺序反过来：只需要遍历一次JSON全量结构，提前把待移除值转成查询效率O(1)的集合，遍历到每个match字段时一次性判断是否命中移除规则即可，时间复杂度直接降到O(JSON外层条目数 * 单条目下items数量)，和待移除值的数量几乎无关，正常数据量下处理时间可以从100分钟压缩到数秒。

优化后代码如下：

# 1. 先把待移除列表转集合，成员判断效率比列表高几个数量级
remove_set = set(remove_list)

# 2. 仅全量遍历一次JSON结构，无重复扫描
for entry in JSON_file:
    # 提前取到items列表，减少多级索引重复寻址开销
    items = entry.get('query', {}).get('items', [])
    for item_obj in items:
        # 字段不存在直接跳过，避免KeyError
        if 'match' not in item_obj:
            continue
        match_content = item_obj['match']
        
        # 按你的实际业务场景选判断逻辑：
        # 场景A：match是字符串，只要包含任意一个待移除关键词就删除整个match字段
        should_remove = any(keyword in match_content for keyword in remove_set)
        
        # 场景B：match是精确匹配值，只要match内容本身在待移除列表里就删（效率更高）
        # should_remove = match_content in remove_set

        if should_remove:
            del item_obj['match']

如果你的JSON文件体积超过内存承载能力，可以换用流式JSON解析库逐段读取处理，不需要把整个JSON加载到内存，进一步降低资源开销。

内容的提问来源于stack exchange，提问作者user18853421