使用SQLAlchemy读取Celery任务结果时出现_pickle.UnpicklingError报错

1. Celery配置参数冲突
   你在初始化Celery时同时传入了backend和result_backend两个参数，backend是result_backend的别名且优先级更高，导致你指定的带db+前缀的SQLAlchemy结果后端配置被覆盖，实际生效的是不带前缀的旧MySQL结果后端，该后端默认使用pickle做序列化，你设置的result_serializer='json'并未生效。
   同时你没有配置accept_content参数，Celery默认允许pickle格式的内容反序列化，进一步触发了报错。

2. 数据库存储字段容量不足
   Celery SQLAlchemy结果后端默认创建的celery_taskmeta表中，存储任务结果的result字段为TEXT类型，在MySQL中该类型最大仅支持64KB的内容存储。你返回的1MB大小的结果写入时被数据库自动截断，内容损坏后反序列化直接报错。
   你观察到任务运行中读取状态正常、完成后报错，正是因为运行中result字段无内容，无需反序列化，任务完成后读取状态会拉取完整的任务元数据，触发损坏内容的反序列化逻辑。

1. 修正Celery初始化配置 #

移除冗余的backend参数，补充accept_content配置强制使用json序列化，修正后的配置如下：

backend_url = 'mysql://{}:{}@{}/{}'.format(username, password, hostname, db_name)
broker_url = 'sqla+' + backend_url
db_backend_url = 'db+' + backend_url

celery = Celery(
    app.import_name,
    broker=broker_url,
    result_backend=db_backend_url,
    cache_backend=db_backend_url,
    task_serializer='json',
    result_serializer='json',
    accept_content=['json'],
    include=['my_blueprints.profile']
)

2. 扩容结果存储字段 #

执行SQL语句修改celery_taskmeta表的result字段类型，适配大结果存储：

-- MEDIUMTEXT最大支持16MB存储，可根据实际需求替换为LONGTEXT（最大4GB）
ALTER TABLE celery_taskmeta MODIFY COLUMN result MEDIUMTEXT NOT NULL;

如果使用 Alembic 等迁移工具管理表结构，建议生成对应迁移脚本执行变更。

3. 优化大结果存储方案（推荐） #

直接将大文件内容存入Celery结果表不是最优实践，建议将生成的文件上传至对象存储或写入本地文件系统，任务仅返回文件的访问路径，既可以避免结果过大引发的各类问题，也能降低数据库存储压力。

内容的提问来源于stack exchange，提问作者Matheus Torquato