Django 大数据量场景下模型数据拆分操作效率优化咨询
Django大数据量字段拆分操作效率优化方案
原代码的核心性能瓶颈如下:
- 单条调用
thing.save(),每条都会产生独立的UPDATE SQL请求,50万条对应50万次数据库IO请求,开销极高 - 单条调用
thing.tags.add(),每调用一次也会产生多对多中间表的INSERT请求,单条Thing如果有多个标签会产生多次请求,开销翻倍 - 直接调用
Thing.objects.all()会一次性把50万条实例全部加载到内存,会造成严重的内存占用甚至OOM,拖慢运行速度 item.lower() in tag_dict.keys()的写法会额外生成字典键的临时列表,查询效率低于直接item.lower() in tag_dict
具体优化措施
1. 分页流式加载数据,避免内存溢出
用Django ORM的iterator()按批次加载Thing数据,每次只加载固定数量的实例到内存处理,避免全量加载的内存开销:
# 每次处理1000条,可根据服务器配置调整阈值 BATCH_SIZE = 1000 # 流式加载,不会一次性缓存所有查询结果 for thing in Thing.objects.iterator(chunk_size=BATCH_SIZE): # 业务处理逻辑
2. 批量写入替代单条操作
收集每批次处理结果,用bulk_update批量更新Thing字段,直接操作多对多中间表批量插入关联关系,一批次仅产生1-2次数据库请求:
from django.db import transaction # 先拿到多对多中间表模型,用来批量插入关联关系 ThingTagThrough = Thing.tags.through # 直接查询Tag的name和id两个字段,字典只存id降低内存占用 tag_dict = {tag.name.lower(): tag.id for tag in Tag.objects.only("name", "id").all()} update_batch = [] tag_relation_batch = [] # 用事务包裹所有操作,避免单次请求自动提交的IO开销 with transaction.atomic(): for thing in Thing.objects.iterator(chunk_size=BATCH_SIZE): stuff_list = thing.stuff stuff_in_tags = [] stuff_not_in_tags = [] for item in stuff_list: item_lower = item.lower() if item_lower in tag_dict: stuff_in_tags.append(item) # 先收集多对多关联数据,不直接调用add tag_relation_batch.append( ThingTagThrough(thing_id=thing.id, tag_id=tag_dict[item_lower]) ) else: stuff_not_in_tags.append(item) thing.stuff = stuff_in_tags thing.other_stuff = stuff_not_in_tags update_batch.append(thing) # 凑够一批就执行批量写入 if len(update_batch) >= BATCH_SIZE: # 批量更新Thing的两个字段 Thing.objects.bulk_update(update_batch, ["stuff", "other_stuff"]) # 批量插入多对多关联关系,忽略重复避免报错 ThingTagThrough.objects.bulk_create(tag_relation_batch, ignore_conflicts=True) # 清空批次缓存 update_batch.clear() tag_relation_batch.clear() # 处理最后不足一批的剩余数据 if update_batch: Thing.objects.bulk_update(update_batch, ["stuff", "other_stuff"]) ThingTagThrough.objects.bulk_create(tag_relation_batch, ignore_conflicts=True)
3. 数据库层面额外优化
操作前可以临时关闭Thing表和多对多中间表的非必要索引、约束,操作完成后再重建,可再提升30%-50%的写入速度。
以上优化落地后,50万条数据的处理时间可从数小时压缩到分钟级。
内容的提问来源于stack exchange,提问作者lovefaithswing
相关产品推荐
相关产品推荐

