Redshift下SQLAlchemy 1.4.2分页查询重复/丢数据问题分析

环境信息 #

• 数据库：Redshift
• SQLAlchemy版本：1.4.2

问题代码实现 #

def get_page(query, page_size, page_number):
    return query.limit(page_size).offset((page_number - 1) * page_size).all()

def my_query(self):
    with Session(engine) as session:
        query = session.query(my_model).order_by(
            my_model.id
        )
        return query

query = my_query()

while True:
    page_number = 1
    results = get_page(query, 100, page_number)
    if not results:
        break
    for result in results:
        print(result)
        
    page_number+=1

问题现象 #

处理大数据集时出现数据丢失或重复（如条目A同时出现在第1页和第4页）。实际业务场景为：左连接表X与待处理表Y，筛选Y中无对应X条目的数据；按100条分页遍历结果，每处理500条后向X批量插入关联记录，期望初始查询结果不受后续数据变更影响，且无需提交会话导致结果变化。

当前实现的核心问题 #

1. 会话生命周期管理错误
   my_query函数中，会话在with块结束后会被自动关闭，但返回的query对象仍绑定这个已关闭的会话。后续每次调用query.all()时，SQLAlchemy会自动创建新会话，这意味着每一次分页查询都是完全独立的全新请求，无法保证结果的一致性。

2. offset分页的固有缺陷
   使用offset+limit做分页时，依赖的是结果集的偏移位置。而业务中每处理500条数据就会向X表插入记录，这会直接改变Y表的查询结果集（左连接条件是Y无对应X条目）——原本属于后续分页的条目可能因为前面的结果集缩小而提前，导致重复；原本在前面的条目可能被挤出当前结果范围，导致丢失。

3. 未固化初始查询结果集
   每次调用get_page都会重新执行完整的SQL查询，而业务中的数据变更（X表插入）会实时影响查询结果，导致后续分页拿到的是更新后的数据集，和初始查询的结果完全不一致，违背了“初始结果不受后续变更影响”的需求。

4. 循环逻辑错误
   while True循环内将page_number = 1写死，导致每次循环都从第1页开始查询，这会引发无限循环重复打印第1页数据，属于明显的代码逻辑错误。

内容的提问来源于stack exchange，提问作者Sitruc