Celery任务未注册报错问题排查及解决方案请求

Docker容器日志报错：
Received unregistered task of type 'jina_fetch_urls_celery_task'. The message has been ignored and discarded.

Redis和Celery Worker容器已正常启动，但调用接口时触发该错误，需排查原因并解决配置不匹配问题。

原因分析 #

• 自动发现任务路径缺失：celery.autodiscover_tasks()默认仅扫描根目录下的tasks.py，你的任务放在utils/tasks.py，未指定扫描路径时Worker无法识别。
• Worker未加载任务模块：Worker启动时未加载utils.tasks模块，导致任务未注册到Celery实例。
• 任务命名路径不匹配：调用端与Worker端的任务完整命名（模块名.函数名）不一致，导致Worker无法匹配任务。

解决方案 #

1. 指定任务自动扫描路径 #

修改scraper-legal/config/celery.py中的autodiscover_tasks方法，明确指定包含任务的模块：

# 替换原有的celery.autodiscover_tasks()
celery.autodiscover_tasks(["utils"])

此配置会让Celery主动扫描utils目录下的tasks.py文件，注册其中的任务。

2. 确保Worker启动命令正确 #

启动Celery Worker时，必须指定项目的Celery实例入口（Docker容器内需保证命令正确）：

celery -A config.celery worker --loglevel=info

-A config.celery指定了Celery实例的位置，Worker会从此路径加载配置和任务。

3. 验证任务完整命名 #

Celery任务的完整名称格式为模块名.任务函数名，你的任务完整名称应为utils.tasks.jina_fetch_urls_celery_task。可在调用处添加打印确认：

# 在scraper-legal/routes/run.py中添加
print(jina_fetch_urls_celery_task.name)

确保Worker端注册的任务名称与该输出一致。

4. 修正Docker容器内Python路径 #

若使用Docker部署，需保证容器内Python路径包含项目根目录scraper-legal，避免导入错误。可在Dockerfile中添加：

ENV PYTHONPATH=/app/scraper-legal:$PYTHONPATH

（假设项目代码挂载在容器/app/scraper-legal目录下）

配置匹配检查 #

• Redis连接配置：config/celery.py中Broker和Backend使用redis://redis:6379/0，需确认Docker Compose中Redis服务名确实为redis，端口6379正常开放，API和Worker容器均可访问Redis。
• 时区配置修正：旧版配置键CELERY_ENABLE_UTC已被废弃，新版Celery应使用enable_utc，修改配置如下：

celery.conf.update(
    timezone="UTC",
    enable_utc=True,
    broker_connection_retry_on_startup=True
)

该修改虽不直接解决任务注册问题，但可避免潜在的配置兼容性问题。

内容的提问来源于stack exchange，提问作者DarkHorse_906