如何在django-import-export导出前获取文件以使用pandas groupby()？

你之前用dehydrate方法走不通是完全正常的：这类方法是单行、单字段级别的处理钩子，每次触发只会拿到当前遍历到的单条模型实例，没有全量数据集的上下文，根本支撑不起pandas.groupby()需要跨多行聚合的场景。
要在导出流程正式生成文件前拿到全量待导出数据做分组处理，直接重写Resource类的核心导出方法即可。

重写Resource类的export()方法 #

这是最贴合需求的介入点，django-import-export的默认导出流程本身就会先拉取全量待导出的queryset，再逐行序列化生成导出文件，你可以在这个流程的最前端插入pandas的数据处理逻辑：

import pandas as pd
from import_export.resources import ModelResource
from import_export.fields import Field
from .models import Phones

class PhoneResource(ModelResource):
    phone = Field()

    class Meta:
        model = Phones
        # 按照实际导出需求配置字段，不需要的字段通过exclude排除
        exclude = ('id',)

    def export(self, queryset=None, *args, **kwargs):
        # 1. 复用默认逻辑获取全量待导出数据集
        if queryset is None:
            queryset = self.get_queryset()
        
        # 2. 把数据集转成pandas DataFrame，完成groupby分组聚合处理
        # 只取后续分组、导出需要的字段，减少内存占用
        raw_df = pd.DataFrame(list(queryset.values('phone', 'url', '其他业务字段')))
        # 替换成你实际的groupby聚合规则，比如按手机号分组，把同号码下的所有url拼接为逗号分隔的字符串
        processed_df = raw_df.groupby('phone').agg({
            'url': lambda x: ','.join(x.dropna())
        }).reset_index()

        # 3. 把处理完成的数据集传入父类的导出逻辑，走后续的文件生成流程
        return super().export(
            queryset=processed_df.to_dict('records'),
            *args,
            **kwargs
        )

• 不要把groupby计算逻辑拆到各个dehydrate方法里：每个字段的处理循环都会重复拉取全量数据做计算，数据量稍大就会出现严重的性能问题
• 处理后的DataFrame列名，要和Resource类里定义的Field的属性名严格对应，否则导出时会出现字段值为空的问题
• 大数据量导出场景下，转DataFrame时不要拉取模型的全量字段，只选取分组、导出必需的列，避免内存溢出

内容的提问来源于stack exchange，提问作者Izpodvorotni