Django annotate触发ProgrammingError：数据库数据异常引发聚合查询问题

问题概述 #

我长期使用Django的annotate做关联计数，比如：

q = Book.objects.annotate(Count('authors'))

近期突然出现PostgreSQL报错：

ProgrammingError: column ... must appear in the GROUP BY clause or be used in an aggregate function

• 同版本Django下，开发环境正常，生产环境报错；将生产库复制到开发环境后，开发环境也出现相同问题，确认是数据层面异常
• 仅用values指定单个字段时查询正常，但业务需要完整模型对象，无法采用该方案
• 问题始于一次失败的部署回滚，当时数据库出现损坏（部分表存在重复ID），修复可见的重复键、唯一约束后仍报错

关键异常场景 #

以下代码中，ModelA的聚合查询报错，但ModelB的完全正常：

class ModelA(models.Model):
    a = models.IntegerField()

class ModelB(models.Model):
    b = models.IntegerField()

class ModelC(models.Model):
    a = models.ForeignKey(ModelA, related_name='cs')
    b = models.ForeignKey(ModelB, related_name='cs')

ModelA.objects.annotate(c=Count('cs'))  # 报错
ModelB.objects.annotate(c=Count('cs'))  # 正常运行！

实际项目中ModelA和ModelB包含更多字段。

原因分析 #

1. ModelA与ModelB表现差异的核心 #

PostgreSQL的GROUP BY规则要求所有非聚合字段必须出现在GROUP BY子句中。Django默认会自动将模型的所有字段加入GROUP BY，但如果目标表存在隐性数据不一致，会导致PostgreSQL无法解析分组逻辑：

• 若ModelA的表中存在逻辑上不唯一的主键/唯一约束数据（比如重复ID修复后，仍有字段数据异常、外键关联无效等），PostgreSQL在执行GROUP BY时无法确定非聚合字段的取值，从而抛出错误。
• ModelB的表数据无此类隐性问题，因此查询正常。

2. 部署回滚后的隐性数据损坏 #

除了可见的重复ID，还可能存在：

• 外键关联失效（比如ModelC中存在指向不存在的ModelA实例的记录）
• 唯一约束字段存在隐性重复（比如唯一索引未正确重建，数据仍重复）
• 数据库统计信息过时，导致查询优化器生成错误的执行计划

修复方案 #

1. 彻底排查并修复数据一致性问题 #

检查外键完整性

执行SQL找出无效关联记录并修复：

-- 检查ModelC中指向不存在的ModelA的记录
SELECT * FROM myapp_modelc WHERE a_id NOT IN (SELECT id FROM myapp_modela);
-- 检查ModelC中指向不存在的ModelB的记录
SELECT * FROM myapp_modelc WHERE b_id NOT IN (SELECT id FROM myapp_modelb);

找到后删除无效记录或修正关联。

校验唯一约束字段

检查所有唯一约束（包括主键）是否存在隐性重复：

-- 检查ModelA主键是否重复
SELECT id, COUNT(*) FROM myapp_modela GROUP BY id HAVING COUNT(*) > 1;
-- 检查其他唯一字段（如ModelA的a字段）
SELECT a, COUNT(*) FROM myapp_modela GROUP BY a HAVING COUNT(*) > 1;

若存在重复，清理重复数据并重建唯一索引。

2. 刷新数据库统计信息 #

数据修复后，手动刷新PostgreSQL统计信息，确保优化器生成正确的执行计划：

ANALYZE myapp_modela;
ANALYZE myapp_modelb;
ANALYZE myapp_modelc;

3. 临时兼容方案（若数据修复后仍有问题） #

手动指定GROUP BY字段为模型主键，强制查询合法：

from django.db.models import Count

# 显式指定需要的字段（包含主键和聚合字段）
ModelA.objects.annotate(c=Count('cs')).values('id', 'a', 'c')

# 或使用distinct避免重复计数，同时帮助PostgreSQL解析分组
ModelA.objects.annotate(c=Count('cs', distinct=True)).order_by('id')

4. 验证修复效果 #

重新执行报错的annotate查询，确认错误消失；同时检查业务页面的500错误是否恢复正常。

内容的提问来源于stack exchange，提问作者webtweakers