Peewee使用model_to_dict时已配置JOIN仍出现N+1查询如何解决

问题原因 #

1. Peewee的常规JOIN操作只会填充正向单值关联的属性，不会自动把关联表数据聚合存储到主实例的反向一对多关联（也就是你定义的books/movies/tapes三个backref）的集合缓存中。你手动JOIN返回的每一行结果里的关联表字段，只会生成为临时的单对象属性，不会合并为集合存入backref。
2. 调用model_to_dict时开启了backrefs=True，工具会主动访问用户实例的三个反向关联属性，此时Peewee没有检测到对应缓存，就会触发三次单独的关联查询，最终总查询数为1次主查询+3次关联查询=4次，和报错信息一致。
3. 额外说明：你同时JOIN三个一对多表会产生笛卡尔积，如果单个用户有2本图书、3部电影、4盒磁带，最终JOIN结果集会返回234=24条重复的主表数据，反而会浪费性能，多反向关联的场景本来就不适合用单次JOIN的方式做预加载。

解决方案 #

改用Peewee提供的prefetch方法实现反向关联预加载，该方法会用固定次数的查询加载所有关联数据，不会产生笛卡尔积，也不会触发N+1问题：不管主表查询返回多少个用户，查询次数都固定为「1次主表查询+每个关联表1次查询」，不会随数据量增长。

修改后的测试代码如下：

from peewee import prefetch
from playhouse.shortcuts import model_to_dict
from playhouse.test_utils import count_queries

from test_n_plus_1l import *


def test_should_avoid_n_plus_one_problem():
    db.create_tables([TestUser, Book, Movie, Tape])

    tu = TestUser.create(name='Test')
    Book.create(name='Book1', user_id=tu.id)
    Movie.create(name='Movie1', user_id=tu.id)
    Tape.create(name='Tape1', user_id=tu.id)

    with count_queries() as counter:
        # 先写主表查询逻辑
        user_query = TestUser.select().where(TestUser.id == tu.id)
        # 用prefetch指定要预加载的所有关联表，返回结果为符合条件的用户列表
        tu = prefetch(user_query, Book, Movie, Tape)[0]
        model_to_dict(tu, backrefs=True, manytomany=True, max_depth=4)

    # 固定4次查询，不会随用户数增加，已完全规避N+1问题
    assert counter.count == 4

内容的提问来源于stack exchange，提问作者Pawel