Django中PostgreSQL JSONField新旧数据合并的实现方案问询

针对你的需求，核心思路是重写模型的save()方法，在保存前完成旧数据获取、新数据验证、数据整合这几个步骤，具体实现如下：

1. 模型修改与核心方法实现 #

from django.db import models

class Baum(models.Model):
    myjson = models.JSONField(default=dict)  # 根据实际默认类型调整，比如default=list

    def is_new_data(self, new_data):
        # 自定义新数据验证逻辑，返回True则执行数据整合
        # 示例逻辑（根据你的业务需求修改）：
        if isinstance(self.myjson, list) and isinstance(new_data, list):
            # 假设列表元素含唯一id，检查是否有未存在的元素
            existing_ids = {item.get('id') for item in self.myjson}
            return any(item.get('id') not in existing_ids for item in new_data)
        elif isinstance(self.myjson, dict) and isinstance(new_data, dict):
            # 检查字典是否含未存在的键
            return bool(set(new_data.keys()) - set(self.myjson.keys()))
        # 其他类型混合场景，自行扩展逻辑
        return True

    def merge_data(self, old_data, new_data):
        # 自定义新旧数据整合逻辑
        if isinstance(old_data, list) and isinstance(new_data, list):
            # 合并列表并去重（基于id，可按需修改）
            merged = old_data.copy()
            existing_ids = {item.get('id') for item in merged}
            for item in new_data:
                item_id = item.get('id')
                if item_id not in existing_ids:
                    merged.append(item)
                    existing_ids.add(item_id)
            return merged
        elif isinstance(old_data, dict) and isinstance(new_data, dict):
            # 合并字典，仅添加旧字典未有的键值对（不覆盖原有数据）
            merged = old_data.copy()
            for key, value in new_data.items():
                if key not in merged:
                    merged[key] = value
            return merged
        # 类型不一致场景，按需处理（示例：转为列表包含两者）
        return [old_data, new_data]

    def save(self, *args, **kwargs):
        # 仅针对更新操作处理（新建对象直接保存）
        if self.pk is not None:
            # 加行锁避免并发更新数据丢失
            old_instance = Baum.objects.select_for_update().get(pk=self.pk)
            old_data = old_instance.myjson
            new_data = self.myjson

            if self.is_new_data(new_data):
                self.myjson = self.merge_data(old_data, new_data)
        
        # 调用父类方法完成最终保存
        super().save(*args, **kwargs)

2. 关键细节说明 #

• 并发安全：使用select_for_update()获取旧数据时会加行锁，避免多个请求同时更新同一对象导致的数据覆盖问题。
• 自定义逻辑扩展：is_new_data和merge_data方法完全根据你的业务需求调整，比如嵌套结构的深度校验、特定字段的去重规则等。
• 默认值设置：JSONField的default参数要匹配你存储的数据类型（字典或列表），避免类型冲突。
• 批量操作注意：如果使用bulk_create或bulk_update批量操作，不会触发单个对象的save()方法，这类场景需要单独编写批量处理逻辑。

内容的提问来源于stack exchange，提问作者micho