从Django网站远程执行Python脚本及追踪运行状态的方案咨询

1. 实现复杂计算任务分发与结果返回的最佳方案 #

核心采用生产者-消费者架构，用消息中间件衔接Django和计算服务器：

• 选用Celery作为任务队列框架，搭配Redis或RabbitMQ做消息 broker：Django作为生产者，把计算任务打包（包含参数、用户ID等）发送到broker；计算服务器上部署Celery Worker，监听broker获取任务并执行。
• 结果返回：
  • 配置Celery的结果后端（比如Redis、Django数据库），Worker完成任务后自动把结果写入后端，Django通过任务ID即可查询结果。
  • 也可以在Worker中直接调用Django的模型API（确保计算服务器能访问Django数据库），完成后更新任务模型的结果字段。
• 部署注意：计算服务器的Worker要和Django处于同一网络，能访问broker和数据库；Docker部署的Django要确保broker地址配置正确，Worker不需要打包进Django容器，直接在计算服务器上独立运行。

2. 追踪计算任务状态 #

两种实用方式：

• 利用Celery自带的状态查询：每个任务会生成唯一task_id，Django把这个ID存在自定义的ComputationTask模型里（模型字段可包含task_id、status、user、result等），通过AsyncResult(task_id).state获取任务状态（PENDING、STARTED、SUCCESS、FAILURE等），前端可以定时轮询Django的API获取状态。
• 主动更新数据库状态：在Worker执行任务的关键节点（开始、完成、失败），主动更新ComputationTask模型的status字段，比如任务开始时设为"计算中"，完成后设为"完成"。如果需要实时推送，可搭配Django Channels实现WebSocket通知，替代前端轮询。

3. 是否需要任务调度器？ #

分场景判断：

• 如果只是用户触发的即时任务，不需要专门的定时调度器，Celery Worker本身的并发配置（比如--concurrency参数）就能处理并行任务。
• 如果需要任务排队优先级、资源调度（比如限制计算服务器的CPU使用率）、定时/周期性任务，则需要调度组件：
  • 简单需求用Celery Beat即可，支持任务优先级、定时执行。
  • 复杂场景（比如多计算节点资源调度）可考虑专业框架，但单台专用计算服务器的场景下，Celery的能力足够覆盖需求。
• 对比2014年的方案，现在Celery已迭代到5.x版本，稳定性和易用性大幅提升；Redis Queue（RQ）作为轻量替代方案也更成熟，无需依赖复杂的AMQP协议，适合快速搭建。

内容的提问来源于stack exchange，提问作者Romn