Django如何实现异步数据库操作?批量生成500万订单的技术咨询
核心可行性结论
Django 环境下完全可以实现该场景的异步批量操作,之前触发的SynchronousOnlyOperation报错,本质是异步上下文的边界划分错误:直接在async协程函数内部调用了同步ORM接口,没有按照Django的兼容规则,将整段包含数据库操作的同步逻辑投递到独立线程中执行。
正确实现流程
1. 优先优化同步逻辑性能,收益远高于盲目开启异步
原实现单条订单需要5次以上数据库往返交互,500万条订单累计会产生超过2500万次DB网络开销,哪怕用异步拉满IO并发,也会因为DB请求量过大触发数据库性能瓶颈,优先完成这几项优化:
- 提前一次性把所有Customer、门店、商品的基础数据加载到内存,避免循环过程中反复查库
- 把逐单、逐明细、逐单据的单条创建逻辑,改为攒批后调用
bulk_create()批量写入,把原本的单条多次DB操作压缩为每1000-5000条一次写入 - 拆分大事务:不要把500万条数据放在单个事务里提交,按批次拆成独立小事务,避免事务日志过大、长锁表问题
2. 正确划分同步/异步边界
不要把ORM操作拆得支离破碎,零散包裹单个同步调用,这类写法不仅容易触发报错,还会因为线程调度开销导致性能比纯同步实现更差:
- 所有包含数据库操作的代码块,必须整体用
sync_to_async封装,投递到独立线程执行 - 绝对禁止在async协程的函数体里直接调用任何同步ORM接口,哪怕只是执行一个
count()查询,也必须通过sync_to_async包裹的同步逻辑调用
3. 控制异步并发上限
因为同步ORM是在线程池中执行,每个执行ORM操作的线程都会占用一个独立的数据库连接,无限制开协程会快速占满数据库连接池,导致连接超时、请求阻塞:
- 用
asyncio.Semaphore将并发数控制在数据库配置的最大连接数的70%-80%,避免打满数据库 - 不要在协程之间共享ORM缓存对象,每个线程的数据库连接是独立的,跨线程的ORM缓存不生效
参考实现示例
import random from asgiref.sync import sync_to_async def _load_base_data(): """同步加载基础维度数据到内存,避免循环查库""" customers = list(Customer.objects.all().values_list("id", flat=True)) stores = list(Store.objects.all().values_list("id", flat=True)) goods = list(Goods.objects.all().values_list("id", flat=True)) return customers, stores, goods def _batch_write_chunk(orders_chunk, details_chunk, sales_chunk): """单批次批量写入数据,压缩DB交互次数""" Order.objects.bulk_create(orders_chunk, batch_size=1000) OrderDetail.objects.bulk_create(details_chunk, batch_size=1000) SalesRecord.objects.bulk_create(sales_chunk, batch_size=1000) async def batch_create_orders(total_count: int = 5000000): # 同步执行:加载基础数据 customers, stores, goods = await sync_to_async(_load_base_data)() # 同步执行:拆分每个客户对应的订单量 customer_order_counts = constrained_sum_sample( number_of_integers=len(customers), total=total_count ) BUFFER_SIZE = 1000 orders_buffer, details_buffer, sales_buffer = [], [], [] for customer_id, order_count in zip(customers, customer_order_counts): for _ in range(order_count): # 构造订单主记录 order = Order( customer_id=customer_id, store_id=random.choice(stores) ) orders_buffer.append(order) # 构造随机数量的订单明细 detail_count = random.randint(1, 30) for _ in range(detail_count): detail = OrderDetail( order=order, goods_id=random.choice(goods) ) details_buffer.append(detail) # 构造对应销售单据 sales = SalesRecord(detail=detail) sales_buffer.append(sales) # 攒够缓冲区大小就批量写入 if len(orders_buffer) >= BUFFER_SIZE: await sync_to_async(_batch_write_chunk)( orders_buffer, details_buffer, sales_buffer ) orders_buffer.clear() details_buffer.clear() sales_buffer.clear() # 写入最后剩余的缓冲区数据 if orders_buffer: await sync_to_async(_batch_write_chunk)( orders_buffer, details_buffer, sales_buffer )
常见踩坑说明
- 不要用
async_to_sync把整段同步逻辑硬套在async入口里,这种写法本质还是同步执行,根本达不到异步并行的效果 - 如果模型字段有
auto_now/auto_now_add的自动时间配置,使用bulk_create时需要手动给字段赋值,否则不会自动触发时间更新逻辑 - 不要为了跳过
SynchronousOnlyOperation检查修改全局配置关闭数据库同步操作校验,这类写法会掩盖代码的边界错误,在生产环境容易触发不可预期的连接问题
内容的提问来源于stack exchange,提问作者Murilo Sitonio
相关产品推荐
相关产品推荐

