如何在Django ORM中高效筛选千万级MySQL数据表数据？

针对你1亿条数据单表筛选耗时10-12分钟的问题，以下是具体优化方案：

1. 给筛选字段添加索引 #

当前查询基于ticker字段过滤，无索引时MySQL会执行全表扫描，这是慢查询的核心原因。

• 在Django模型中给ticker字段添加普通索引：

  ticker = models.CharField(max_length=255, db_index=True)
  

• 若后续经常需要按ticker+date组合查询，可添加联合索引（Django 2.2+支持）：

  class Meta:
      indexes = [
          models.Index(fields=['ticker', 'date']),
      ]
  

• 执行迁移命令生效：python manage.py makemigrations && python manage.py migrate

2. 裁剪ORM查询返回的字段 #

默认filter()会查询所有字段，大量冗余数据会增加IO和内存开销，只查询业务需要的字段：

• 使用only()指定需要的字段：

  query = MyModel.objects.filter(ticker=ticker).only('date', 'Open', 'Close')
  

• 或用values()返回字典格式的精简数据：

  query = MyModel.objects.filter(ticker=ticker).values('date', 'Close')
  

3. 数据库层面优化 #

分表/分库拆分 #

1亿条数据单表体积过大，可按以下方式拆分：

• 按ticker哈希分表：将不同ticker的数据分配到不同子表，Django可通过自定义数据库路由实现。
• 按date时间分表：比如按年份/季度拆分历史数据，查询时直接定位到对应子表。

调整MySQL配置参数 #

• 增大innodb_buffer_pool_size：建议设置为服务器内存的50%-70%，让更多数据缓存到内存，减少磁盘IO。
• 优化innodb_flush_log_at_trx_commit：若业务对数据一致性要求不是极高，可设置为2，提升写入和查询性能。
• 开启慢查询日志：通过slow_query_log=1和long_query_time=1记录慢查询，结合EXPLAIN分析执行计划，确认索引是否生效：

  EXPLAIN SELECT * FROM myapp_mymodel WHERE ticker='your_ticker';
  

  在Django中也可直接查看ORM生成的查询计划：

  print(MyModel.objects.filter(ticker=ticker).explain())
  

4. 分批处理查询结果 #

避免一次性加载1亿条数据到内存，采用分批迭代或分页：

• 使用iterator()分批获取数据，减少内存占用：

  for item in MyModel.objects.filter(ticker=ticker).iterator(chunk_size=1000):
      # 处理单条数据
      process_item(item)
  

• 若需要分页展示，使用Django内置的Paginator：

  from django.core.paginator import Paginator
  
  queryset = MyModel.objects.filter(ticker=ticker)
  paginator = Paginator(queryset, 1000)  # 每页1000条
  for page_num in paginator.page_range:
      page = paginator.get_page(page_num)
      for item in page:
          process_item(item)
  

5. 使用原生SQL优化查询 #

部分场景下ORM生成的SQL不够高效，可直接使用原生SQL：

query = MyModel.objects.raw('SELECT date, Close FROM myapp_mymodel WHERE ticker = %s', [ticker])

6. 缓存与预处理 #

如果查询的是不频繁更新的历史数据：

• 用Redis等缓存工具缓存ticker对应的查询结果，下次直接读取缓存。
• 定期预计算统计数据：比如每天凌晨将每个ticker的当日数据汇总到统计表，业务查询直接读取统计表而非原始大表。

内容的提问来源于stack exchange，提问作者mr_fahad