Django查询集循环时数据库读取时机及多实例运行重复处理疑问

嘿，我来帮你理清这两个Django数据库查询的关键问题：

Django的QuerySet是惰性求值的——简单说就是，它不会在你定义的时候就去查数据库，而是直到你真正需要用到数据内容的时候才会触发SQL查询。

触发数据库读取的常见场景包括：

• 开始遍历QuerySet（比如你代码里的for company in ...循环，第一次迭代时就会触发查询）
• 调用len(queryset)获取结果总数
• 把QuerySet转成列表：list(queryset)
• 用if queryset判断是否存在匹配的对象
• 直接访问单个对象，比如queryset.first()或者queryset[0]

而且要注意，第一次触发查询后，Django会把结果缓存到这个QuerySet里，之后再对同一个QuerySet做操作（比如再次遍历），就会直接用缓存的数据，不会再去数据库重复查询了。

答案是：会的。

原因很简单：当你开始执行for company in Company.objects.filter(updated=False):这个循环时，第一次迭代就会触发SQL查询，把所有符合updated=False的Company对象一次性加载到内存并缓存起来。之后你的循环处理的都是内存里的这些缓存数据，不管其他实例在数据库里把某个对象的visited（或者updated）改成了什么，当前循环都不会感知到——因为它不会再去数据库重新拉取数据了。

如果你想避免这种情况（比如不想处理已经被其他实例标记为已访问/更新的对象），可以试试这些优化方案：

1. 每次迭代重新校验对象状态：在处理前重新从数据库获取最新的对象数据，判断是否还符合条件：

   for company in Company.objects.filter(updated=False):
       # 重新拉取最新状态
       fresh_company = Company.objects.get(pk=company.pk)
       if fresh_company.updated:
           continue
       # 执行你的爬取和更新操作
       driver.get(fresh_company.company_url)
       fresh_company.address = driver.find_element_by_id("address").text
       fresh_company.visited = True
       fresh_company.save()
   

2. 使用iterator()避免缓存：如果你的QuerySet数据量很大，用iterator()可以让Django不缓存结果，每次从数据库取一批数据，能减少内存占用，但无法完全解决并发修改的问题。
3. 加锁避免并发冲突：用select_for_update()在查询时锁住对象，防止其他实例修改，这样能保证你处理的对象不会被其他进程篡改，但需要配合事务使用：

   from django.db import transaction
   
   with transaction.atomic():
       for company in Company.objects.filter(updated=False).select_for_update():
           # 执行操作
           driver.get(company.company_url)
           company.address = driver.find_element_by_id("address").text
           company.visited = True
           company.save()
   

另外，你的操作耗时久主要是因为每个对象都要打开网页爬取，这个IO操作是瓶颈。如果要多实例运行，一定要处理好并发修改的问题，不然很容易出现重复处理或者数据冲突的情况。

内容的提问来源于stack exchange，提问作者Chase Roberts