使用SQLAlchemy加载器选项预加载自引用关系时触发RecursionError

问题背景 #

我用SQLAlchemy的automap_base开发动态CRUD系统，User表包含CreatedByUserId、UpdatedByUserId和DeletedByUserId三个自关联字段。执行下面的查询预加载CreatedByUser关联时，触发了RecursionError: maximum recursion depth exceeded错误：

Base = automap_base()
tables = Base.classes
model = (db.query(tables['User'])
        .options(
            joinedload(tables['User'].CreatedByUser)
        )
        .first())

排查后发现根源是存在用户自己创建自己的情况，比如：

{
  "id": 3,
  "createdByUserId": 3
}

试过noload()、lazyload('*')、selectinload等加载策略，都没解决问题。

可行解决方案 #

1. 给关联对象明确添加noload，打断递归链 #

直接在joinedload嵌套noload，禁止加载关联用户的CreatedByUser，从根源切断循环：

model = (db.query(tables['User'])
        .options(
            joinedload(tables['User'].CreatedByUser).noload('CreatedByUser')
        )
        .first())

这样查询只会加载当前用户的CreatedByUser，不会再递归加载这个关联用户的CreatedByUser。

2. 修改automap生成的关系默认加载策略 #

如果不想每次查询都手动设置，可以在automap_base准备完成后，修改CreatedByUser关系的lazy属性：

Base.prepare(autoload_with=engine)
User = Base.classes.User
# 将默认加载策略改为懒加载，只有主动访问才会查询
User.CreatedByUser.lazy = 'lazy'

之后再执行预加载查询时，只会加载一层关联，不会无限递归。

3. 配合load_only限制加载字段（可选优化） #

如果只需要部分字段，用load_only减少数据加载量，同时避免不必要的关联层级：

from sqlalchemy.orm import load_only

model = (db.query(tables['User'])
        .options(
            joinedload(tables['User'].CreatedByUser).load_only('id', 'username'),
            load_only('id', 'username', 'CreatedByUserId')
        )
        .first())

问题本质 #

当用户的CreatedByUserId指向自身时，SQLAlchemy的预加载会默认递归加载每一层的CreatedByUser，没有深度限制就会触发递归超限。通过限制关联对象的加载策略，打断递归链就能解决问题。

内容的提问来源于stack exchange，提问作者Idel