Django处理MySQL数据时查询耗时随时间递增问题求助

这问题我之前帮好几个开发者排查过，核心原因大概率是Django ORM的内存累积或者未正确管理数据库事务/连接，咱们一步步拆解：

为什么会越处理越慢？ #

1. Django QuerySet的缓存机制导致内存泄漏 #

Django的ORM默认会把查询到的Model对象缓存到QuerySet中，方便后续重复访问。但如果你是一次性遍历几万条数据，随着处理的记录越来越多，内存里堆积的对象会越来越大，Python的垃圾回收（GC）来不及及时清理，导致内存占用持续飙升，最终拖慢整个处理流程。

重启服务器后，内存里的缓存被清空，所以前100条处理速度回到正常，但处理一段时间后缓存又会堆积起来，速度自然再次下降。

2. 未及时提交的事务累积 #

如果你的处理逻辑是把整个循环包在一个大事务里，或者每处理一条数据都不提交事务，MySQL会维护越来越大的事务日志，同时锁资源也会被持续占用，后续的读写操作需要等待更多资源，耗时自然越来越长。

重启服务器后，未完成的事务会被自动回滚，数据库状态恢复正常，初始处理速度也就回来了，但再次循环不提交的话，问题会重复出现。

3. 数据库连接池耗尽（较少见但需排查） #

虽然Django默认会自动管理数据库连接池，但如果你的处理逻辑里自定义了连接操作，或者有未正确释放的连接，会导致连接池被占满，后续请求需要等待空闲连接，也会增加处理耗时。

怎么解决？ #

1. 用iterator()避免QuerySet缓存 #

直接使用QuerySet的iterator()方法迭代数据，它不会缓存查询到的对象，每次只从数据库取一批数据（默认200条），能有效控制内存占用：

from myapp.models import YourModel

def process_data():
    # 用iterator指定chunk_size，按需调整
    for obj in YourModel.objects.all().iterator(chunk_size=200):
        # 你的计算逻辑
        obj.calculated_result = your_calculation(obj)
        obj.save()

2. 手动分批处理+强制GC（可选） #

如果需要更精细的控制，可以手动分批查询数据，每处理完一批就触发一次垃圾回收，进一步释放内存：

import gc
from myapp.models import YourModel

def process_data():
    total = YourModel.objects.count()
    batch_size = 100  # 按需调整批次大小
    for i in range(0, total, batch_size):
        # 分批查询数据
        batch = YourModel.objects.all()[i:i+batch_size]
        for obj in batch:
            # 计算逻辑
            obj.calculated_result = your_calculation(obj)
            obj.save()
        # 手动触发垃圾回收，释放当前批次的对象内存
        gc.collect()

3. 及时提交事务 #

如果你的业务不需要整个处理流程的原子性，建议每处理一条或一批数据就提交一次事务，避免事务日志堆积：

from django.db import transaction
from myapp.models import YourModel

def process_data():
    batch_size = 100
    counter = 0
    # 每批提交一次事务，平衡性能和一致性
    with transaction.atomic():
        for obj in YourModel.objects.all().iterator():
            obj.calculated_result = your_calculation(obj)
            obj.save()
            counter += 1
            if counter % batch_size == 0:
                transaction.commit()
                transaction.begin()
        # 提交最后一批剩余数据
        transaction.commit()

4. 只查询需要的字段 #

如果处理逻辑只用到Model的部分字段，用values()或values_list()来获取字典/元组，比完整的Model对象占用更少内存：

# 只取需要的字段，返回字典
for item in YourModel.objects.values('id', 'field1', 'field2').iterator():
    # 计算逻辑
    result = your_calculation(item['field1'], item['field2'])
    # 更新数据
    YourModel.objects.filter(id=item['id']).update(calculated_result=result)

额外排查建议 #

• 用memory_profiler监控内存变化，定位具体的内存泄漏点：

  from memory_profiler import profile
  
  @profile
  def process_data():
      # 你的处理逻辑
  

• 查看MySQL的事务状态，执行SHOW ENGINE INNODB STATUS，检查事务日志大小和锁等待情况，确认是否是事务问题。

内容的提问来源于stack exchange，提问作者user9637850