Django中如何保存查询并复用？遇Pickle与Raw SQL错误求方案

方案1：序列化查询参数，在Celery中重构QuerySet #

这是最稳妥的方案，避开直接序列化QuerySet的坑，转而保存构建QuerySet所需的核心参数，在Celery任务里重新生成QuerySet：

保存参数时的代码： #

import json

# 直接保存你构建QuerySet时用的参数，比解析QuerySet内部结构更可靠
query_config = {
    # 用模型的app_label和model_name定位模型，避免硬编码路径
    "model_label": f"{PaymentModel._meta.app_label}.{PaymentModel._meta.model_name}",
    "filter_kwargs": {"dt__date__lte": "2030-01-01"},
    # 有其他查询条件（比如exclude、排序）也一并保存
    "order_by": ["-dt"]
}

# 用JSON序列化参数，比pickle兼容性更好、更安全
serialized_config = json.dumps(query_config)
# 将serialized_config传递给Celery任务即可

Celery任务中的代码： #

import json
from django.apps import apps

def export_excel_task(serialized_config):
    config = json.loads(serialized_config)
    # 根据model_label获取对应的模型类
    model = apps.get_model(config["model_label"])
    # 重构QuerySet
    qs = model.objects.filter(**config["filter_kwargs"])
    if config.get("order_by"):
        qs = qs.order_by(*config["order_by"])
    
    # 后续执行导出Excel的逻辑

方案2：使用sql_with_params()获取正确的SQL和参数 #

你之前用Raw SQL出错，是因为str(qs.query)把字符串参数直接拼进SQL（丢失引号），PostgreSQL把2030-01-01当成了整数减法。改用qs.query.sql_with_params()能拿到带占位符的SQL和参数列表，完美解决类型问题：

保存SQL和参数： #

import json

qs = PaymentModel.objects.filter(dt__date__lte="2030-01-01")
# 获取带占位符的SQL模板，以及对应的参数元组
sql_template, params = qs.query.sql_with_params()
# 序列化这两个值
serialized_data = json.dumps({"sql": sql_template, "params": params})

Celery任务中执行： #

import json

def export_excel_task(serialized_data):
    data = json.loads(serialized_data)
    sql = data["sql"]
    # 把参数转回元组
    params = tuple(data["params"])
    
    # 用RawQuerySet执行，参数单独传递给数据库驱动
    raw_qs = PaymentModel.objects.raw(sql, params)
    instances = list(raw_qs)
    
    # 后续导出逻辑

方案3：序列化模型实例（适合小数据量场景） #

如果导出的数据量不大，可以先执行QuerySet拿到实例，再用Django自带的序列化器处理，Celery任务中反序列化即可：

保存实例时： #

from django.core import serializers

qs = PaymentModel.objects.filter(dt__date__lte="2030-01-01")
# 把实例序列化为JSON格式
serialized_instances = serializers.serialize("json", qs)

Celery任务中： #

from django.core import serializers

def export_excel_task(serialized_instances):
    # 反序列化得到实例包装器，提取真实实例
    instances_wrapper = serializers.deserialize("json", serialized_instances)
    instances_list = [obj.object for obj in instances_wrapper]
    
    # 后续导出逻辑

注：这个方案会提前查询数据，大数据量下会占用较多内存，只适合小批量导出场景。

内容的提问来源于stack exchange，提问作者erhan