Django如何查询JSONField仅差换行符的变更记录

有一张记录系统内所有模型变更历史的表，需要筛选出**仅在字段值尾部多了换行符\n**的无效变更记录，后续批量删除。
模型定义如下：

class Change(models.Model):
    object_type = models.ForeignKey(
        ContentType,
        related_name="object_change_set",
        on_delete=models.CASCADE,
    )
    object_id = models.CharField(max_length=255, db_index=True)
    object = GenericForeignKey("object_type", "object_id")
    old_fields = models.JSONField(encoder=JSONEncoder, null=True, blank=True)  
    new_fields = models.JSONField(encoder=JSONEncoder, null=True, blank=True)  

判定规则：old_fields和new_fields两个JSON字段的键完全一致，除了目标字段（示例为body）存在old_fields值 = new_fields值 + "\n"的差异外，其余字段值完全相等。
示例数据：

• 新字段值

{
    "body": "Had a great time on Wednesday.",
    "created": "2022-06-15T19:49:06.784Z"
}

• 旧字段值

{
    "body": "Had a great time on Wednesday.\n",
    "created": "2022-06-15T19:49:06.784Z"
}

全量遍历逐行比对的方案可以实现，但数据量大的时候性能太差，需要更优雅的实现。

方案1：数据库层预过滤+小范围校验（优先用，性能最优） #

如果用的是PostgreSQL（Django对JSONField支持最完善的数据库），可以先通过数据库查询把99%不符合条件的记录直接过滤掉，只把极小的候选集拉到内存做二次校验，避免全表扫描带来的性能问题。

from django.db.models import F, Func, Q, Value

# 第一步：数据库层初筛，直接排除明显不符合条件的记录
invalid_candidates = Change.objects.filter(
    # 先匹配确定不会变的字段，比如创建时间这类固定值
    new_fields__created=F("old_fields__created"),
    # 旧body必须以\n结尾
    old_fields__body__endswith="\n",
    # 新body等于旧body去掉尾部所有\n的结果，避免误匹配
    new_fields__body=Func(
        F("old_fields__body"),
        Value("\n"),
        function="RTRIM",
        template="%(function)s(%(expressions)s, %(param)s)"
    )
)

# 第二步：对候选集做精准校验，逻辑非常轻量
def check_invalid(change):
    old = change.old_fields
    new = change.new_fields
    # 键集合不一致直接排除
    if old.keys() != new.keys():
        return False
    diff_count = 0
    for key, old_val in old.items():
        new_val = new[key]
        if old_val == new_val:
            continue
        # 仅允许body字段存在单换行的尾部差异
        if key == "body" and old_val == f"{new_val}\n":
            diff_count += 1
            continue
        return False
    return diff_count == 1

# 收集无效ID后批量删除
invalid_ids = [c.id for c in invalid_candidates if check_invalid(c)]
Change.objects.filter(id__in=invalid_ids).delete()

如果你的场景里可能出现差异的字段不固定，只需要把校验函数里的key == "body"判断改成允许任意字段存在单换行尾部差异即可，因为候选集已经很小，这部分逻辑的性能开销可以忽略。

方案2：分批遍历校验（全数据库兼容） #

如果用的是MySQL、SQLite等JSON查询支持较弱的数据库，不要直接用Change.objects.all()全量加载（数据量大了很容易OOM），用分页器分批拉取数据处理即可：

from django.core.paginator import Paginator

BATCH_SIZE = 1000  # 每批拉取1000条，内存占用可控
invalid_ids = []

# 按主键排序分批拉取，只取需要的字段
queryset = Change.objects.order_by("id").only("id", "old_fields", "new_fields")
paginator = Paginator(queryset, BATCH_SIZE)

for page in paginator:
    for change in page.object_list:
        old = change.old_fields
        new = change.new_fields
        if old.keys() != new.keys():
            continue
        is_valid = True
        diff_count = 0
        for k, old_v in old.items():
            new_v = new[k]
            if old_v == new_v:
                continue
            if k == "body" and old_v == f"{new_v}\n":
                diff_count +=1
                continue
            is_valid = False
            break
        if is_valid and diff_count == 1:
            invalid_ids.append(change.id)

# 批量删除
Change.objects.filter(id__in=invalid_ids).delete()

长期优化建议：可以在Change记录的保存逻辑里提前加一层校验，如果新旧字段的差异仅为尾部换行符，直接跳过存储，从源头避免这类无效数据堆积，比事后清理效率高得多。

内容的提问来源于stack exchange，提问作者rustyshackleford