Django Docker容器环境下Celery异步任务访问数据库异常问题咨询

这个报错本质是Celery异步任务执行环境无法和database容器建立网络连接，同步和异步执行结果不一致的核心原因是两类请求的运行环境完全隔离，具体可以分为以下几类常见情况：

• Celery Worker 所属Docker网络不匹配
  你的同步请求运行在Web服务容器中，该容器和database容器处于同一个Docker自定义网络，所以可以正常解析database主机名并建立连接。如果Celery Worker容器没有加入该Docker网络，就无法解析database主机名，所有连接请求都会直接失败，多次重试后触发Max retries exceeded报错。

  排查命令：进入Celery Worker容器内部执行ping database或者nc -zv database 83，如果连通失败即可确认是网络配置问题。

• 数据库连接数超限
  同步场景通常使用短连接，单次请求结束就释放连接，不会触碰到数据库的最大连接数限制。而Celery多Worker/多进程模式会批量创建持久化数据库连接，如果你的数据库最大连接数配置过低，或者ORM框架没有配置连接过期回收逻辑，会导致数据库连接被占满，新的异步任务无法获取连接，多次重试后抛出报错。
• Celery 进程未初始化数据库连接配置
  很多项目会把数据库连接初始化逻辑放在Web服务的启动钩子中，同步请求触发时连接已经完成初始化可以直接调用。但Celery Worker是独立启动的进程，不会继承Web服务的内存上下文，如果你没有单独为Celery进程配置数据库连接参数，就会出现异步任务执行时连接参数缺失/错误，无法正常访问数据库。
• 数据库访问权限限制
  如果你给数据库配置了IP访问白名单，仅将Web服务容器的网段加入了允许列表，没有把Celery Worker容器的网段加进去，数据库会直接拦截来自Celery的连接请求，多次重试后触发报错。

内容的提问来源于stack exchange，提问作者Zohaib Faruqui