Django：删除具有相同多对多关联的重复Track记录

嘿，这个场景我之前碰到过，多对多关联的记录去重确实有点绕，毕竟没法直接用普通的分组聚合来判断重复。不过别担心，咱们可以通过生成唯一标识的思路来搞定它——核心就是把title、all_producers、all_remixers这三个维度的信息整合成一个唯一的“签名”，然后把签名相同的记录归为重复组，只保留每组里的一条。

方法一：ORM遍历处理（适合中等数据量） #

先写个小函数来生成每个Track的唯一签名，这里要注意对多对多的ID做排序，避免因为关联顺序不同把相同的组合误判成不同记录：

def get_track_unique_signature(track):
    # 把关联的生产者ID排序后拼接成字符串
    sorted_producers = sorted(track.all_producers.values_list('id', flat=True))
    producer_str = ','.join(map(str, sorted_producers))
    # 同理处理混音师ID
    sorted_remixers = sorted(track.all_remixers.values_list('id', flat=True))
    remixer_str = ','.join(map(str, sorted_remixers))
    # 拼接成唯一签名
    return f"{track.title}|{producer_str}|{remixer_str}"

然后遍历所有Track，把签名相同的记录分组，只保留每组的第一条（这里按ID排序，保留最早创建的，你也可以改成按其他字段排序，比如保留track_link不为空的）：

signature_map = {}
# 按ID升序遍历，确保先处理最早的记录
for track in Track.objects.order_by('id'):
    sig = get_track_unique_signature(track)
    if sig in signature_map:
        # 重复记录，直接删除
        track.delete()
    else:
        # 记录这个签名对应的第一个track ID
        signature_map[sig] = track.id

方法二：原生SQL高效处理（适合大数据量） #

如果你的Track数据量特别大，遍历的方法效率会很低，这时候用原生SQL会快很多。下面以PostgreSQL为例，思路是先通过CTE生成每个Track的签名，再找到每个重复组要保留的ID，最后删除其余记录：

-- 生成每个Track的唯一签名（title+排序后的生产者ID数组+排序后的混音师ID数组）
WITH track_signatures AS (
    SELECT
        t.id,
        t.title,
        array_agg(p.djprofile_id ORDER BY p.djprofile_id) AS producers,
        array_agg(r.djprofile_id ORDER BY r.djprofile_id) AS remixers
    FROM track t
    LEFT JOIN track_all_producers p ON t.id = p.track_id
    LEFT JOIN track_all_remixers r ON t.id = r.track_id
    GROUP BY t.id, t.title
),
-- 找出每个重复组中要保留的最小ID（想保留最新的就改成MAX(id)）
keep_track_ids AS (
    SELECT MIN(id) AS keep_id
    FROM track_signatures
    GROUP BY title, producers, remixers
)
-- 删除不在保留列表里的重复记录
DELETE FROM track WHERE id NOT IN (SELECT keep_id FROM keep_track_ids);

⚠️ 重要提醒：执行SQL之前一定要先备份数据，最好先在测试环境跑一遍验证结果，没问题再到生产环境执行！

后续优化建议 #

处理完现有重复记录后，建议加个防护措施避免再产生重复：比如在Track的post_save信号里检查新创建的记录是否和现有记录重复，或者创建一个定期清理重复记录的脚本。如果数据库支持的话，也可以考虑用物化视图来监控重复项。

内容的提问来源于stack exchange，提问作者davideghz