使用ForeignKeyWidget时如何缓存get_queryset()优化导入性能？

你的代码之所以没效果，是因为model.objects.all()返回的是惰性QuerySet，而且ForeignKeyWidget默认的clean方法会对这个QuerySet逐行执行filter+get，还是会触发N次数据库查询。正确的做法是缓存字段值与关联实例的映射关系，一次性把所有需要的关联数据加载到内存字典中，后续直接从字典取值。

正确的缓存ForeignKeyWidget实现 #

from import_export.widgets import ForeignKeyWidget

class CachedForeignKeyWidget(ForeignKeyWidget):
    def __init__(self, model, field="pk", use_natural_foreign_keys=False, **kwargs):
        super().__init__(model, field, use_natural_foreign_keys, **kwargs)
        # 根据关联字段构建值到实例的映射字典
        if field == "pk":
            # 主键场景用in_bulk更高效，返回{pk: instance}的字典
            self.instance_map = model.objects.in_bulk()
        else:
            # 非主键字段，确保该字段有数据库索引，避免全表扫描
            self.instance_map = {
                getattr(obj, field): obj
                for obj in model.objects.all()
            }

    def clean(self, value, row=None, *args, **kwargs):
        if not value:
            return None
        # 直接从内存字典取实例，无需查询数据库
        return self.instance_map.get(value)

关键说明 #

• 初始化阶段一次性查询所有关联模型数据，仅触发1次数据库请求，后续导入全程从内存字典取值。
• 如果关联模型数据量极大（比如百万级），可以优化为批量查询导入文件中出现的关联值，避免加载全量数据：

class BatchCachedForeignKeyWidget(ForeignKeyWidget):
    def __init__(self, model, field="pk", use_natural_foreign_keys=False, **kwargs):
        super().__init__(model, field, use_natural_foreign_keys, **kwargs)
        self.instance_map = {}
        self.collected_values = set()

    def clean(self, value, row=None, *args, **kwargs):
        if not value:
            return None
        self.collected_values.add(value)
        return super().clean(value, row, *args, **kwargs)

    def before_import(self, dataset, using_transactions, dry_run, **kwargs):
        # 在导入前批量查询所有收集到的关联值对应的实例
        if self.collected_values:
            queryset = self.model.objects.filter(**{f"{self.field}__in": self.collected_values})
            self.instance_map = {getattr(obj, self.field): obj for obj in queryset}
        # 重写clean方法，后续直接用缓存
        self.clean = lambda value, *args, **kwargs: self.instance_map.get(value) if value else None

• 非主键字段作为匹配依据时，一定要给该字段添加数据库索引，否则预加载或批量查询时会很慢。

使用示例 #

在你的Resource类中替换原有ForeignKeyWidget：

from import_export import resources, fields
from .models import YourModel, RelatedModel

class YourModelResource(resources.ModelResource):
    # 假设关联字段是related_model，导入文件中用name字段匹配
    related_model = fields.Field(
        column_name="related_name",
        attribute="related_model",
        widget=CachedForeignKeyWidget(RelatedModel, field="name")
    )

    class Meta:
        model = YourModel

内容的提问来源于stack exchange，提问作者user24192533