Django任务队列选型咨询：需支持库缓存与Windows运行环境

我正通过Django为各类Python脚本搭建Web界面，示例代码如下（calculation.py）：

import datetime
def add_time(a, b):
    return a + b + int(datetime.datetime.now())

使用场景 #

• 用户可发起请求「运行calculation.py中的add_time方法，参数为[1,3]」，待任务完成后获取结果；
• 用户可设置「每10分钟运行calculation.py中的add_time方法（参数[1,3]），若结果大于X则执行对应操作」。

多数脚本函数执行速度快，但依赖的库加载耗时久。当前直接通过Django服务运行，虽能一次性加载库使后续调用提速，但遇到重型调用时会拖慢整个Django应用，且定时任务能力受限，因此寻求替代方案。

已调研方案 #

• Celery：不再支持Windows，排除；
• Huey与Dramatiq；
• Django-Q2：与Django集成便捷。

据了解，这些方案均不支持已导入库的缓存（我可接受启动时批量导入）。请问应选择哪类方案，或如何调整现有方案？

*核心需求：必须支持Windows环境，因部分依赖库为Windows专属。

优先选择：Django-Q2 #

它与Django集成度最高，配置和开发成本最低，且完全支持Windows环境，能覆盖异步任务、定时任务的全部需求，匹配你的使用场景。

针对库缓存的优化调整 #

不管选择Django-Q2、Huey还是Dramatiq，都可以通过自定义Worker初始化逻辑实现启动时批量导入依赖库，达到缓存效果：

1. Django-Q2 调整方式：
   编写自定义Worker启动脚本，在Worker进程启动时提前导入所有需要的依赖库（比如你的calculation.py及关联依赖），后续任务执行时无需重复加载。
   示例代码：

   # custom_worker.py
   import calculation  # 提前导入目标依赖
   from django_q.worker import Worker
   
   if __name__ == "__main__":
       # 启动Worker，此时依赖已完成加载
       Worker().work()
   

   启动Worker时使用该自定义脚本替代默认命令，后续所有调用calculation.add_time的任务都会复用已加载的库。

2. Huey/Dramatiq 调整方式：
   在Worker进程的初始化钩子中添加批量导入逻辑。比如Huey可在实例化Huey对象后，通过初始化函数提前加载依赖；Dramatiq可自定义Actor基类，在Worker启动阶段执行预导入操作。

额外优化建议 #

• 针对重型任务，可配置Worker的进程数，避免单个任务拖垮整个Worker集群；
• 定时任务方面，Django-Q2支持通过Admin界面或代码配置周期性任务，完全满足“每10分钟执行并判断结果”的需求；
• 若需要任务结果回调，Django-Q2和Huey都支持任务状态追踪与结果返回，可直接在Django视图中查询任务状态并获取结果。

内容的提问来源于stack exchange，提问作者BleuBizarre