GORM多对多关联预加载出现重复数据的解决方法

问题根源 #

你遇到的重复情况，主要有两个可能原因：

• 中间表attendance.employee_shifts里存在同一EmployeeID和ShiftID的重复记录
• 多对多关联的GORM标签配置有误，导致关联查询逻辑异常

修复方案 #

1. 修正关联标签配置 #

你的EmployeeShiftList中ShiftMaps的标签存在配置冗余，规范写法需明确各关联字段的对应关系，避免GORM解析异常。修正后的结构体如下：

type EmployeeShiftList struct {
    ID        uint
    UUID      uuid.UUID  `gorm:"<-:create"`
    FirstName string     `validate:"required,max=250"`
    LastName  string     `validate:"omitempty,max=250"`
    ShiftMaps []ShiftMap `gorm:"many2many:attendance.employee_shifts;foreignKey:ID;joinForeignKey:EmployeeID;References:ShiftID;joinReferences:ShiftID"`
}

type ShiftMap struct {
    ShiftID  uint                  `gorm:"primaryKey"`
    FromDate time.Time
    ToDate   time.Time
}

2. 给中间表加唯一约束 #

核心是避免中间表出现重复的员工-班次关联记录：

• 如果用GORM自动建表，定义中间表模型并设置联合主键：

type EmployeeShift struct {
    EmployeeID uint `gorm:"primaryKey"`
    ShiftID    uint `gorm:"primaryKey"`
}

// 执行迁移创建表
db.AutoMigrate(&EmployeeShift{})

• 如果是手动维护数据库表，直接给attendance.employee_shifts的EmployeeID和ShiftID添加联合唯一约束。

3. 预加载后手动去重 #

如果暂时没法清理中间表的重复数据，可以在查询后手动对切片去重：

var employeeShiftList []EmployeeShiftList
db.Preload("ShiftMaps").Find(&employeeShiftList)

// 遍历每个员工，对ShiftMaps去重
for idx := range employeeShiftList {
    uniqueMap := make(map[uint]ShiftMap)
    for _, shift := range employeeShiftList[idx].ShiftMaps {
        uniqueMap[shift.ShiftID] = shift
    }
    // 转换回切片
    employeeShiftList[idx].ShiftMaps = make([]ShiftMap, 0, len(uniqueMap))
    for _, s := range uniqueMap {
        employeeShiftList[idx].ShiftMaps = append(employeeShiftList[idx].ShiftMaps, s)
    }
}

4. 预加载时用Distinct去重 #

也可以在预加载的查询语句里直接加DISTINCT关键字，让数据库层面直接返回唯一数据：

db.Preload("ShiftMaps", func(db *gorm.DB) *gorm.DB {
    return db.Distinct()
}).Find(&employeeShiftList)

内容的提问来源于stack exchange，提问作者hafis