如何优化Django应用CSV上传功能，实现大文件高效可扩展导入？

现有问题根因分析 #

你之前替换bulk_create后没有性能提升，核心是使用方式错误：如果逐行调用bulk_create传入单个对象，本质和单次create没有区别，不会减少数据库请求次数。另外你现有代码循环内的print(row)属于高频IO操作，会占用大量耗时。 #

可落地的优化手段 #

1. 代码层面快速优化 #

• 移除循环内所有打印、实时日志等IO操作，该类操作通常会占用30%以上的导入耗时
• 正确使用bulk_create批量插入，攒固定批次的对象后再统一请求数据库，示例代码如下：

from django.db import transaction

def upload_file_view(request):
    start_time = datetime.now()
    form = CsvModelForm(request.POST or None, request.FILES or None)
    if form.is_valid():
        form.save()
        form = CsvModelForm
        obj = Csv.objects.get(activated=False)
        # 用事务包裹整个导入逻辑，减少事务提交开销
        with transaction.atomic(), open(obj.file_name.path, 'r') as f:
            reader = csv.reader(f)
            batch_size = 1000 # 可根据服务器配置调整为500~2000
            data_batch = []
            for i, row in enumerate(reader):
                if i == 0:
                    continue
                # 字段赋值逻辑保持不变
                data_batch.append(Data(
                    date = row[0],
                    appl_open = row[1],
                    appl_high = row[2],
                    appl_low = row[3],
                    appl_close = row[4],
                    appl_volume = row[5],
                    appl_adjusted = row[6],
                    dn = row[7],
                    mavg = row[8],
                    up = row[9],
                    direction = row[10]           
                ))
                # 攒够批次后批量插入，清空缓存
                if len(data_batch) >= batch_size:
                    Data.objects.bulk_create(data_batch, ignore_conflicts=True)
                    data_batch = []
            # 插入剩余不足批次的零散数据
            if data_batch:
                Data.objects.bulk_create(data_batch, ignore_conflicts=True)
        obj.activated = True
        obj.save()
        end_time = datetime.now()
        print('Duration: {}'.format(end_time - start_time))
    return render(request, 'core/task.html', {'form' : form})

• 若不需要冲突检测，可以保留ignore_conflicts=True参数，进一步提升插入速度

2. 更高性能的导入方案 #

如果优化后还是无法满足40MB文件的导入速度要求，可以采用以下方案：

• 数据库原生导入命令：MySQL的LOAD DATA INFILE、PostgreSQL的COPY命令性能比ORM操作高3~10倍，Django可直接执行原生SQL调用该类能力，适合超大量数据导入
• 索引优化：导入前临时删除目标表的非核心索引、触发器，导入完成后再重建，避免插入过程中高频更新索引带来的额外开销
• 数据预校验：提前批量完成所有数据的格式、合法性校验，不要在导入过程中逐行校验，降低出错回滚的成本

3. 异步处理方案（Django Celery完全适用） #

现有同步导入的方式不仅速度慢，还容易出现请求超时、用户体验差的问题，用Celery处理是非常合适的方案：

• 核心流程：用户上传CSV文件成功后，立刻返回响应告知用户「文件上传成功，后台正在处理」，同时将导入任务提交到Celery队列异步执行，执行完成后通过站内信、邮件等方式通知用户导入结果
• 额外优势：
  • 完全避免请求超时问题，用户无需等待导入完成即可执行其他操作
  • 可灵活控制任务并发数，避免大量导入任务打满数据库资源
  • 天然支持任务失败重试、执行进度查询、错误日志留存等扩展能力
• 注意点：需要额外实现任务状态记录、重复导入拦截、失败任务告警等配套逻辑

内容的提问来源于stack exchange，提问作者Sohanur Rahman Shanto 16209570