基于Web服务的Celery任务监控与文件管理方案技术咨询

一、任务事件推送模块优化 #

完全替换原有轮询逻辑，采用主动推送+事件持久化架构：

• 利用Celery原生信号机制（task_prerun/task_postrun/task_failure等），任务状态变更时直接触发事件写入RabbitMQ专用topic交换机，事件携带任务归属用户ID、权限标签、状态变更信息、任务结果片段
• 单独部署轻量化Websocket服务（可选用FastAPI或独立Channels Worker实例，不占用Django业务请求资源）消费RabbitMQ中的任务事件：
  • 消费到事件后先写入PostgreSQL做持久化存储，支持客户端后续离线回溯消费
  • 客户端建立Websocket连接时仅需提交身份认证凭证，服务端校验通过后自动拉取该用户归属的所有未推送历史事件推送，后续新事件产生时直接定向推送给对应用户，无需客户端预先提交task_id
• Celery任务创建时将用户权限信息写入任务头部，执行、推送全链路校验权限，避免事件错发泄露

二、文件管理与竞态问题解决方案 #

替换本地文件存储为MinIO对象存储，彻底解决竞态与扩展性问题：

• 全量文件存入MinIO，单服务器环境可直接部署单实例MinIO，集群环境可切换为分布式MinIO，无需修改业务逻辑
• 利用MinIO原生原子元数据更新、对象版本控制、乐观锁能力，直接写入文件新增属性，无需自行实现本地文件锁逻辑，从存储层规避竞态冲突风险
• 可按需开启MinIO事件通知，将文件变更事件同步写入现有RabbitMQ交换机，支持后续客户端订阅文件变更通知、触发下游关联任务

三、跨规模环境适配方案 #

通过配置开关实现单服务器/集群环境无缝切换：

• 小规模单服务器场景：所有组件（Django、Celery Worker、Websocket服务、MinIO单实例、PostgreSQL、RabbitMQ）通过Docker Compose一键编排部署，关闭分布式集群相关配置即可
• 大规模集群场景：仅需修改配置，Django、Websocket服务无状态直接水平扩容，Celery按任务类型分队列独立扩容，RabbitMQ开启镜像队列保证高可用，MinIO切换为分布式集群模式即可

内容的提问来源于stack exchange，提问作者Ahmad_Python