Django ORM访问SQL Server比SqlEngine慢的性能问题求助

核心原因 #

1. 驱动与数据转换效率差异：SQL Server的pyodbc驱动在将数据库原生类型转换为Python对象时，比SQLite驱动的开销高得多。Django ORM会逐行处理每条记录的每个字段，4k条数据的转换开销累加后被放大；而pd.read_sql采用批量解析逻辑，直接将数据库返回的结果集批量转换为DataFrame，跳过了Python层面的逐行循环，效率差距明显。
2. Django ORM的额外开销：Queryset的_fetch_all方法不仅拉取数据，还要为每条记录创建完整的Model实例，包含元数据、关系绑定等冗余操作；Serializer的to_representation又会对每个Model实例做二次字段转换（转为JSON兼容的Python类型），双重循环叠加导致耗时翻倍。
3. 复杂字段的转换成本：若表中包含datetime、decimal、大文本等复杂类型，SQL Server对这些类型的转换校验比SQLite更严格，Django的字段转换器会执行更多逻辑，进一步增加耗时。

1. 削减ORM实例化开销 #

• 用values()替代完整Model实例：直接返回字典格式的数据，跳过Model对象的创建过程，减少大量冗余操作。示例：

  # 只查询Serializer需要的字段，返回字典
  queryset = models.my_model.objects.filter(_id=enterprise_id).values(*serializers.my_serializer.Meta.fields)
  ser = serializers.my_serializer(queryset, many=True)
  

• 明确指定查询字段：避免select *，只查询业务需要的字段，减少数据传输量和转换开销：

  queryset = models.my_model.objects.filter(_id=enterprise_id).only('field1', 'field2', 'field3')
  

2. 优化Serializer性能 #

• 自定义批量ListSerializer：替代默认的逐行处理逻辑，实现批量数据转换：

  class MyListSerializer(serializers.ListSerializer):
      def to_representation(self, data):
          # 批量获取字段数据，直接返回字典列表
          queryset = data.all() if hasattr(data, 'all') else data
          return list(queryset.values(*self.child.fields.keys()))
  
  class my_serializer(serializers.ModelSerializer):
      class Meta:
          model = models.my_model
          fields = ['field1', 'field2']
          list_serializer_class = MyListSerializer
  

• 禁用不必要的Serializer特性：移除不需要的验证器、只读字段的额外处理，用serializers.ReadOnlyField替代复杂字段类型，减少转换逻辑。

3. 直接复用批量数据转换逻辑（推荐） #

既然最终要生成DataFrame，可跳过Django ORM和Serializer，直接用Django内置的数据库连接执行查询，复用pd.read_sql的高效逻辑：

from django.db import connections
import pandas as pd

def get(self, request, use):
    start_date = '2023-08-01'
    end_date = '2023-08-31'
    _id = 'id_value'
    
    start_time = pd.to_datetime('now')
    # 复用Django的数据库配置，避免硬编码连接字符串
    with connections['default'].cursor() as cursor:
        # 明确指定需要的字段，避免select *
        sql = "select field1, field2, field3 from <table> where id=%s"
        cursor.execute(sql, [_id])
        # 获取列名
        columns = [col[0] for col in cursor.description]
        df = pd.DataFrame(cursor.fetchall(), columns=columns)
    end_time = pd.to_datetime('now')
    
    total_seconds = (end_time - start_time).total_seconds()
    return Response(
        {'total_seconds': total_seconds,
         'start_date': start_date,
         'end_date': end_date,
         'rows_retrieved': len(df)
         }, status=status.HTTP_200_OK)

4. 数据库驱动与索引优化 #

• 更新SQL Server驱动配置：在Django的settings.py中使用最新驱动并添加性能参数：

  DATABASES = {
      'default': {
          'ENGINE': 'mssql',
          'NAME': 'your_db_name',
          'USER': 'db_user',
          'PASSWORD': 'db_pass',
          'HOST': 'db_host',
          'PORT': '1433',
          'OPTIONS': {
              'driver': 'ODBC Driver 17 for SQL Server',
              'extra_params': 'FastSqlResults=Yes',
          },
      },
  }
  

• 添加查询索引：确保过滤条件（如id、日期字段）有对应的索引，进一步降低数据库查询的底层耗时。

内容的提问来源于stack exchange，提问作者Aroosh Rana