Django中QuerySet的iterator()方法为何能降低内存占用？

首先纠正你一个关键误解：默认QuerySet和iterator()的核心差异，不在于是否一次性从数据库取数据，而在于内存中保留数据的方式和时机。

• 默认QuerySet的行为：
  当你评估普通QuerySet（比如遍历它）时，Django会一次性把所有数据库查询结果拉取出来，转换成对应的Model实例，然后把这些实例全部存储在QuerySet内部的_result_cache缓存列表里。哪怕你只遍历一次，这些实例也会一直占用内存，直到整个QuerySet对象被垃圾回收。也就是说，内存里会同时存在所有的Model实例，内存占用是所有实例的总和。

• iterator()的行为：
  iterator()采用分批加载+无缓存的策略：

  1. 如果数据库支持服务器端游标（比如PostgreSQL、MySQL），Django会用服务器端游标从数据库分批取数据，每次只获取一小批（默认2000条，可通过chunk_size参数调整）；
  2. 每批数据转换成Model实例后，你遍历处理完这一批，这些实例就会失去引用，被Python的垃圾回收机制回收，内存随即释放；
  3. 同时，iterator()不会在QuerySet层面缓存任何实例，处理完的批次不会被保留。

这样一来，内存里始终只保留当前正在处理的那一小批Model实例，而不是所有实例，内存峰值会大幅降低——比如处理10万条数据时，普通QuerySet可能占几百MB内存，用iterator()可能只占几MB。

你之前的疑问核心是误以为两种方式都是一次性全加载，但实际上iterator()是流式分批处理，处理完就释放内存，而默认QuerySet会把所有实例都缓存起来，哪怕只用一次也不会及时释放。

内容的提问来源于stack exchange，提问作者Choi Deok Gyeong