Django实践：如何批量删除本地库中API JSON不存在的数据库行？

核心思路 #

先从API数据中提取所有唯一键（此处为foo字段），再批量删除本地数据库中唯一键不在该集合内的记录，这是最直接高效的方案。

具体实现步骤 #

假设你的Django模型定义如下：

from django.db import models

class MyModel(models.Model):
    foo = models.CharField(max_length=255, unique=True)
    bar = models.CharField(max_length=255)
    
    def __str__(self):
        return self.foo

1. 提取API中的唯一键集合

解析API返回的JSON数据，提取所有foo值：

import requests

# 替换为你的实际API请求逻辑
api_response = requests.get("your_api_url")
api_data = api_response.json()

# 收集API里所有的foo值
api_foo_values = [item["foo"] for item in api_data]

2. 批量删除本地冗余记录

用Django QuerySet的过滤+批量删除操作，一次性完成清理：

# 删除foo不在API集合内的所有本地记录
MyModel.objects.exclude(foo__in=api_foo_values).delete()

优化建议 #

• 保证数据一致性：把同步全流程（更新/插入+删除）放在事务中，避免出现中间状态：

  from django.db import transaction
  
  with transaction.atomic():
      # 执行你的更新/插入逻辑（示例用update_or_create）
      for item in api_data:
          MyModel.objects.update_or_create(
              foo=item["foo"],
              defaults={"bar": item["bar"]}
          )
      # 执行删除操作
      MyModel.objects.exclude(foo__in=api_foo_values).delete()
  

• 大数据量适配：如果API数据量极大，先获取本地所有foo值再求差集，减少数据库过滤压力：

  # 获取本地库所有foo值
  local_foo_values = list(MyModel.objects.values_list("foo", flat=True))
  # 计算需要删除的foo值（本地有但API没有）
  foos_to_delete = set(local_foo_values) - set(api_foo_values)
  # 批量删除
  MyModel.objects.filter(foo__in=foos_to_delete).delete()
  

• 增量同步场景：若API支持返回增量数据，可给模型添加last_sync_at字段，同步时标记新/更新的记录，最后删除last_sync_at早于本次同步时间的记录（需API配合提供增量接口）。

对应你的示例场景 #

按照上述逻辑，API的foo集合为["Lorem", "dolor", "adipiscing"]，本地库中foo="amet"不在该集合内，执行删除后id=3的记录会被移除，最终本地库将与API数据完全一致。

内容的提问来源于stack exchange，提问作者Gomi