如何将Django Queryset拆分为多个子Queryset

针对你要将400万条数据的QuerySet拆分为每10万条一组的需求，这里提供两种实用的实现方式，利用Django QuerySet的惰性特性，不会一次性加载所有数据到内存：

方式一：基于总数的批量切片（适合数据量稳定场景） #

先通过count()获取总数据量，再循环生成指定范围的子QuerySet：

def split_queryset(queryset, batch_size=100000):
    total_objects = queryset.count()
    for start in range(0, total_objects, batch_size):
        end = start + batch_size
        yield queryset[start:end]

使用示例 #

all_objects = MyModel.objects.all()
# 遍历每个子QuerySet
for batch_num, batch_queryset in enumerate(split_queryset(all_objects), start=1):
    # 在这里处理每个批次的数据，比如批量更新、导出等
    print(f"处理第 {batch_num} 批次，共 {len(batch_queryset)} 条数据")

方式二：循环判断直到切片为空（适合数据动态变化场景） #

如果你的数据可能在处理过程中新增/删除，不想提前获取总数，可以用这种方式，每次切片后判断是否为空：

def split_queryset(queryset, batch_size=100000):
    offset = 0
    while True:
        batch = queryset[offset:offset + batch_size]
        if not batch:
            break
        yield batch
        offset += batch_size

关键说明 #

• Django的QuerySet切片是惰性的，只有在实际使用（比如len()、遍历）时才会执行数据库查询，所以不会造成内存过载。
• 两种方式都能生成你需要的query_set1、query_set2...这类子QuerySet，按需选择即可。

内容的提问来源于stack exchange，提问作者ItIsMeYa