如何正确配置Celery特定任务my_func的节点与线程资源限制？

为什么原有配置不生效 #

你之前在[task:ad.tasks.my_func]块中配置--concurrency=1和--max-threads=4是无效的，因为--concurrency、--max-threads是Celery Worker节点的启动参数，不属于任务级别的配置项，无法通过任务配置块覆盖全局Worker的资源设置。

正确的配置方案 #

要限制my_func的资源占用，最可靠的方式是给该任务分配专属队列，并启动一个仅处理该队列的独立Worker，通过控制这个Worker的并发数实现资源限制：

1. 给任务指定专属队列
   在Django中定义my_func任务时，通过装饰器指定专属队列：

   from celery import shared_task
   
   @shared_task(queue='my_func_queue')
   def my_func():
       # 任务逻辑代码
       pass
   

2. 启动专属Worker处理该队列
   在服务器上启动独立的Celery Worker，仅监听my_func_queue队列，并设置并发数为4（即你需要的4个线程）：

   celery -A your_django_project worker -Q my_func_queue --concurrency=4 --loglevel=info
   

   这个Worker只会处理my_func任务，且最多同时运行4个线程，不会占用全局32个进程的资源。

3. 调整定时任务配置
   如果my_func是定时任务，确保在Celery Beat的配置中，将该任务指向my_func_queue队列，比如在settings.py中：

   from celery.schedules import crontab
   
   CELERY_BEAT_SCHEDULE = {
       'run-my-func': {
           'task': 'ad.tasks.my_func',
           'schedule': crontab(hour=3, minute=0),  # 替换为你的定时规则
           'options': {'queue': 'my_func_queue'}
       },
   }
   

补充说明 #

如果不想启动独立Worker，也可以通过任务路由配合全局Worker的autoscale参数实现限制，但专属队列+独立Worker的方式隔离性更强，能精准控制任务的资源占用。

内容的提问来源于stack exchange，提问作者Victor Sotillo