如何修改serializer.is_valid()适配已有数据？批量插入跳过重复对象

你遇到的问题是因为identifier字段设置了唯一约束，批量插入时包含已存在的数据会触发验证失败。以下是几种可行的解决办法：

方法一：提前过滤重复数据 #

先从数据库中查询已存在的identifier，过滤掉待插入数据中的重复项后再进行序列化保存：

data = sanitizer.to_dict()
# 查询所有已存在的identifier
existing_identifiers = Trade.objects.values_list('identifier', flat=True)
# 过滤掉重复数据
filtered_data = [item for item in data if item['identifier'] not in existing_identifiers]

if filtered_data:
    serializer = serializer_class(data=filtered_data, many=True)
    if serializer.is_valid(raise_exception=True):
        serializer.save()

优点：逻辑简单，避免不必要的验证操作；缺点：数据量极大时，values_list查询可能占用较多内存，可考虑分批处理。

方法二：捕获验证错误并提取有效数据 #

保留完整的字段验证逻辑，仅跳过因identifier重复导致的错误项：

data = sanitizer.to_dict()
serializer = serializer_class(data=data, many=True)

try:
    serializer.is_valid(raise_exception=True)
    serializer.save()
except serializers.ValidationError as e:
    # 筛选出验证通过的数据（无错误的索引对应的数据）
    valid_data = []
    for idx, item in enumerate(data):
        if idx not in e.detail:
            valid_data.append(item)
    
    if valid_data:
        valid_serializer = serializer_class(data=valid_data, many=True)
        if valid_serializer.is_valid(raise_exception=True):
            valid_serializer.save()

优点：能保留对其他字段的验证逻辑，仅跳过重复项；缺点：需要处理验证错误的结构，代码稍复杂。

方法三：利用数据库批量插入的冲突忽略（推荐） #

如果你的数据库支持冲突忽略（如PostgreSQL 9.5+、MySQL 5.1+），可以使用bulk_create的ignore_conflicts参数直接跳过重复项，性能最优：

data = sanitizer.to_dict()
valid_instances = []

for item in data:
    item_serializer = serializer_class(data=item)
    try:
        # 验证字段合法性（除唯一约束外的其他规则）
        item_serializer.is_valid(raise_exception=True)
        # 生成未保存的实例
        valid_instances.append(item_serializer.save(commit=False))
    except serializers.ValidationError as e:
        # 仅跳过identifier重复的错误，其他错误正常抛出
        if 'identifier' in e.detail and 'already exists' in str(e.detail['identifier'][0]):
            continue
        raise e

# 批量插入，忽略唯一约束冲突
Trade.objects.bulk_create(valid_instances, ignore_conflicts=True)

优点：数据库层面优化，插入效率最高；缺点：依赖数据库对冲突忽略的支持。

内容的提问来源于stack exchange，提问作者elton mehmeti