You need to enable JavaScript to run this app. Django如何实现异步数据库操作?批量生成500万订单的技术咨询
优惠活动
大模型
产品
解决方案
定价
更多

Django如何实现异步数据库操作?批量生成500万订单的技术咨询

核心可行性结论

Django 环境下完全可以实现该场景的异步批量操作,之前触发的SynchronousOnlyOperation报错,本质是异步上下文的边界划分错误:直接在async协程函数内部调用了同步ORM接口,没有按照Django的兼容规则,将整段包含数据库操作的同步逻辑投递到独立线程中执行。

正确实现流程

1. 优先优化同步逻辑性能,收益远高于盲目开启异步

原实现单条订单需要5次以上数据库往返交互,500万条订单累计会产生超过2500万次DB网络开销,哪怕用异步拉满IO并发,也会因为DB请求量过大触发数据库性能瓶颈,优先完成这几项优化:

  • 提前一次性把所有Customer、门店、商品的基础数据加载到内存,避免循环过程中反复查库
  • 把逐单、逐明细、逐单据的单条创建逻辑,改为攒批后调用bulk_create()批量写入,把原本的单条多次DB操作压缩为每1000-5000条一次写入
  • 拆分大事务:不要把500万条数据放在单个事务里提交,按批次拆成独立小事务,避免事务日志过大、长锁表问题

2. 正确划分同步/异步边界

不要把ORM操作拆得支离破碎,零散包裹单个同步调用,这类写法不仅容易触发报错,还会因为线程调度开销导致性能比纯同步实现更差:

  • 所有包含数据库操作的代码块,必须整体用sync_to_async封装,投递到独立线程执行
  • 绝对禁止在async协程的函数体里直接调用任何同步ORM接口,哪怕只是执行一个count()查询,也必须通过sync_to_async包裹的同步逻辑调用

3. 控制异步并发上限

因为同步ORM是在线程池中执行,每个执行ORM操作的线程都会占用一个独立的数据库连接,无限制开协程会快速占满数据库连接池,导致连接超时、请求阻塞:

  • 用asyncio.Semaphore将并发数控制在数据库配置的最大连接数的70%-80%,避免打满数据库
  • 不要在协程之间共享ORM缓存对象,每个线程的数据库连接是独立的,跨线程的ORM缓存不生效
参考实现示例
import random
from asgiref.sync import sync_to_async

def _load_base_data():
    """同步加载基础维度数据到内存,避免循环查库"""
    customers = list(Customer.objects.all().values_list("id", flat=True))
    stores = list(Store.objects.all().values_list("id", flat=True))
    goods = list(Goods.objects.all().values_list("id", flat=True))
    return customers, stores, goods

def _batch_write_chunk(orders_chunk, details_chunk, sales_chunk):
    """单批次批量写入数据,压缩DB交互次数"""
    Order.objects.bulk_create(orders_chunk, batch_size=1000)
    OrderDetail.objects.bulk_create(details_chunk, batch_size=1000)
    SalesRecord.objects.bulk_create(sales_chunk, batch_size=1000)

async def batch_create_orders(total_count: int = 5000000):
    # 同步执行:加载基础数据
    customers, stores, goods = await sync_to_async(_load_base_data)()
    # 同步执行:拆分每个客户对应的订单量
    customer_order_counts = constrained_sum_sample(
        number_of_integers=len(customers),
        total=total_count
    )
    BUFFER_SIZE = 1000
    orders_buffer, details_buffer, sales_buffer = [], [], []
    for customer_id, order_count in zip(customers, customer_order_counts):
        for _ in range(order_count):
            # 构造订单主记录
            order = Order(
                customer_id=customer_id,
                store_id=random.choice(stores)
            )
            orders_buffer.append(order)
            # 构造随机数量的订单明细
            detail_count = random.randint(1, 30)
            for _ in range(detail_count):
                detail = OrderDetail(
                    order=order,
                    goods_id=random.choice(goods)
                )
                details_buffer.append(detail)
                # 构造对应销售单据
                sales = SalesRecord(detail=detail)
                sales_buffer.append(sales)
            # 攒够缓冲区大小就批量写入
            if len(orders_buffer) >= BUFFER_SIZE:
                await sync_to_async(_batch_write_chunk)(
                    orders_buffer, details_buffer, sales_buffer
                )
                orders_buffer.clear()
                details_buffer.clear()
                sales_buffer.clear()
    # 写入最后剩余的缓冲区数据
    if orders_buffer:
        await sync_to_async(_batch_write_chunk)(
            orders_buffer, details_buffer, sales_buffer
        )
常见踩坑说明
  • 不要用async_to_sync把整段同步逻辑硬套在async入口里,这种写法本质还是同步执行,根本达不到异步并行的效果
  • 如果模型字段有auto_now/auto_now_add的自动时间配置,使用bulk_create时需要手动给字段赋值,否则不会自动触发时间更新逻辑
  • 不要为了跳过SynchronousOnlyOperation检查修改全局配置关闭数据库同步操作校验,这类写法会掩盖代码的边界错误,在生产环境容易触发不可预期的连接问题

内容的提问来源于stack exchange,提问作者Murilo Sitonio

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 04:06:08