Django bulk_create多字段唯一约束下的去重与更新问题

我需要从多个API导入数据，存在重复数据风险，要实现无重复批量创建，但所有API都未提供唯一标识符。目前尝试的代码如下：

if 'rounds' in response:
    print('=== Syncing Rounds ===')
    rounds = response.get('rounds')
    objs = [
        Round(
            name         = item.get('name'),
            season       = Season.objects.get(id = item.get('seasonId')),
            competition  = Competition.objects.get(id = item.get('competitionId')),
            round_number = item.get('roundNumber'),
        )
        for item in rounds
    ]
    Round.objects.bulk_create(
        objs,update_conflicts=True, 
        update_fields=['name','season','competition','round_number'],
        unique_fields=['id'])

尝试设置ignore_conflicts = True也没有效果。

轮次编号范围为1-30，赛季为年份，无法单字段设置唯一约束，必须通过round_number、season、competition三者组合保证唯一性（例如赛事112的2023年第1轮仅能存在一条记录）。最终目标是确保数据库中无重复条目，或在有重复时更新现有行的数据。

我已经尝试在Round模型中添加多字段唯一约束，但未生效，模型代码如下：

class Round (models.Model):
    name         = models.CharField(max_length=100)
    round_number = models.SmallIntegerField(null=True)
    season       = models.ForeignKey(Season,on_delete=models.CASCADE)
    competition  = models.ForeignKey(Competition,on_delete=models.CASCADE)
    start        = models.DateTimeField(null=True,blank=True)
    end          = models.DateTimeField(null=True,blank=True)
    tries        = models.SmallIntegerField(default=0)
    points       = models.SmallIntegerField(default=0)

    class Meta:
        constraints = [
            models.UniqueConstraint(
                fields=['round_number','season','competition'], 
                name='unique_round')

解决步骤 #

1. 修复模型的唯一约束

首先确保唯一约束正确生效：

• 必须执行数据库迁移：添加约束后，需要运行python manage.py makemigrations生成迁移文件，再执行python manage.py migrate将约束同步到数据库，否则约束不会生效。
• 检查round_number的null属性：如果业务上不允许round_number为空，建议去掉null=True——因为数据库中null值会被视为不同的条目，会导致相同season和competition下，round_number为null的记录可以重复创建。如果确实需要允许null，可通过condition参数在约束中排除null情况：

  models.UniqueConstraint(
      fields=['round_number', 'season', 'competition'],
      name='unique_round',
      condition=models.Q(round_number__isnull=False)
  )
  

• 补全Meta类的约束代码：你的模型代码中Meta类的约束列表未闭合，需补全括号：

  class Meta:
      constraints = [
          models.UniqueConstraint(
              fields=['round_number', 'season', 'competition'], 
              name='unique_round'
          )
      ]
  

2. 修正bulk_create的参数配置

你的bulk_create参数存在核心错误：unique_fields指定了id（自增主键），但每条新创建的对象id都是唯一的，根本不会触发冲突检测。正确的做法是指定组合唯一的字段：

if 'rounds' in response:
    print('=== Syncing Rounds ===')
    rounds = response.get('rounds')
    objs = [
        Round(
            name         = item.get('name'),
            season       = Season.objects.get(id=item.get('seasonId')),
            competition  = Competition.objects.get(id=item.get('competitionId')),
            round_number = item.get('roundNumber'),
        )
        for item in rounds
    ]
    Round.objects.bulk_create(
        objs,
        update_conflicts=True, 
        update_fields=['name'],  # 仅更新需要变更的字段，唯一键字段无需更新
        unique_fields=['round_number', 'season', 'competition']  # 指定组合唯一字段
    )

• 如果只需要跳过重复条目而不更新，可改用ignore_conflicts=True，但此时不需要update_conflicts和update_fields参数。
• update_fields无需包含season、competition、round_number，因为这些是触发冲突的唯一键，冲突时它们的值与现有记录一致，无更新必要。

3. 优化查询性能（可选）

循环中多次调用Season.objects.get()和Competition.objects.get()会产生大量重复数据库查询，可通过批量查询+字典缓存的方式优化：

if 'rounds' in response:
    print('=== Syncing Rounds ===')
    rounds = response.get('rounds')
    
    # 批量收集需要的ID，一次性查询
    season_ids = {item.get('seasonId') for item in rounds}
    competition_ids = {item.get('competitionId') for item in rounds}
    
    season_map = {s.id: s for s in Season.objects.filter(id__in=season_ids)}
    competition_map = {c.id: c for c in Competition.objects.filter(id__in=competition_ids)}
    
    objs = [
        Round(
            name         = item.get('name'),
            season       = season_map[item.get('seasonId')],
            competition  = competition_map[item.get('competitionId')],
            round_number = item.get('roundNumber'),
        )
        for item in rounds
    ]
    
    Round.objects.bulk_create(
        objs,
        update_conflicts=True, 
        update_fields=['name'],
        unique_fields=['round_number', 'season', 'competition']
    )

内容的提问来源于stack exchange，提问作者Afnan Bashir