Django使用distinct指定字段去重未生效问题咨询
Django
distinct() 方法未实现预期去重的原因与解决方案 核心失效原因
- 你使用的传入字段参数的
distinct('phone_number')是PostgreSQL数据库专属语法,该语法的生效有强制规则:- 生成的SQL对应
SELECT DISTINCT ON (字段名)结构,要求所有传入DISTINCT ON的字段,必须是ORDER BY子句最靠前的连续字段 - 执行逻辑为:按ORDER BY规则排序后,每一组去重字段值相同的行,仅取排序最靠前的一条返回,而非对返回结果做全局去重
- 生成的SQL对应
- 结合你的模型定义,实际导致重复的核心原因是
phone_number使用了EncryptedCharField存储:
这类加密字段的加解密逻辑完全在ORM层实现,数据库层仅存储加密后的密文;且加密过程通常伴随随机初始化向量,同一个明文手机号两次存入后,数据库层对应的密文是完全不同的。
数据库层执行distinct时,是按存储的密文做值比较,根本无法识别两个不同密文对应的明文是同一个值,因此会把两条密文都返回;待ORM层把密文解密为明文后,你就会在QuerySet中看到重复的手机号字符串。
对应场景的正确实现方案
场景1:使用加密字段存储敏感数据
由于数据库层无法感知解密后的明文值,此时任何基于数据库层的distinct逻辑都无法实现明文级别的去重,可按数据规模选择处理方式:
- 当查询结果集规模较小时,可直接将QuerySet在应用层转集合去重,该方式的开销可完全被接受,也是目前最稳妥的实现
- 当查询结果集规模较大,无法全量拉取到应用层处理时,可额外新增一个固定格式的哈希字段(如
phone_number_hash),存储带固定盐值的手机号SHA256哈希值:该字段为明文可索引结构,可直接在数据库层做等于匹配、排序、distinct去重。
场景2:使用普通明文字段存储手机号
如果排除加密字段的影响,按以下规则修正代码即可正常去重:
- 使用PostgreSQL数据库时,需要和你计划的去重维度保持排序字段对齐,例如要按
country_code + phone_number组合去重的写法为:q = (SubscriberPhoneNumber.objects .values_list('phone_number', flat=True) .order_by('country_code', 'phone_number') .distinct('country_code', 'phone_number')) - 使用非PostgreSQL数据库时,不支持带参数的
distinct语法,需要清空所有排序规则,再执行全局去重,避免排序字段被带入去重逻辑:q = (SubscriberPhoneNumber.objects .values_list('phone_number', flat=True) .order_by() # 清空模型默认排序、链式调用中追加的所有排序规则 .distinct())
常见踩坑提醒
- 不要混淆
distinct的执行层级:Django不会在数据库返回结果后自动做Python层面的去重,所有distinct的逻辑都会被翻译为SQL在数据库层执行 - 全局
distinct的生效前提:如果存在不在values/values_list范围内的排序字段,这些字段会被自动带入SQL的DISTINCT判断中,导致最终返回的结果看起来和预期去重逻辑不一致 - 加密字段的查询限制:所有需要基于明文值做匹配、排序、去重的逻辑,都无法直接作用于带随机IV的加密存储字段,必须依赖辅助的明文可查询字段实现。
内容的提问来源于stack exchange,提问作者Joran Beasley
相关产品推荐
相关产品推荐

