升级Pymongo/Mongoengine后Celery任务报错：Cannot use MongoClient after close

问题根源 #

你手动调用mongo_client.close()关闭了MongoClient实例，而Celery任务后续尝试复用这个已关闭的实例，导致触发该错误。MongoClient一旦被关闭就无法再使用，必须重新创建新实例。

具体解决办法 #

• 移除手动关闭MongoClient的代码
  pymongo的MongoClient本身是线程安全的，且自带连接池管理（你配置的maxPoolSize和maxIdleTimeMS就是用于连接池控制），完全不需要手动调用close()。连接池会自动回收闲置连接，手动关闭会直接破坏连接池机制，导致后续请求无法获取可用连接。
  修正后的代码：

  from pymongo import MongoClient
  mongo_client = MongoClient(host=host,
                           port=int(port),
                           username=username,
                           password=password,
                           authSource=authSource_db,
                           maxPoolSize=15,
                           maxIdleTimeMS=120000  # 注意这里参数名是小写开头，你之前的MaxIdleTimeMS是无效参数，会被pymongo忽略
                          )
  

  额外注意：你原代码中的MaxIdleTimeMS参数名错误，正确的参数名是小写开头的maxIdleTimeMS，大写开头的参数无法被pymongo识别，会导致闲置连接回收的配置不生效。

• Celery环境下的正确实践
  在Celery的多进程/多线程环境中，建议要么在每个任务函数内部创建MongoClient实例，要么用单例模式确保每个进程拥有独立的客户端实例（避免跨进程共享同一个实例引发的问题）。
  示例（每个任务内创建实例）：

  from celery import Celery
  from pymongo import MongoClient
  
  app = Celery('tasks', broker='你的消息队列地址')
  
  def get_mongo_client():
      return MongoClient(host=host,
                        port=int(port),
                        username=username,
                        password=password,
                        authSource=authSource_db,
                        maxPoolSize=15,
                        maxIdleTimeMS=120000
                       )
  
  @app.task
  def your_celery_task():
      client = get_mongo_client()
      db = client['目标数据库名']
      # 执行数据库操作
      # 无需手动关闭，连接池会自动管理连接生命周期
  

• 特殊场景下的关闭处理
  如果确实有一次性脚本之类的场景需要关闭客户端，务必确保后续不再复用该实例，而是重新创建新的MongoClient：

  # 第一次使用
  client = MongoClient(...)
  # 执行操作
  client.close()
  
  # 后续需要使用时，重新创建新实例
  new_client = MongoClient(...)
  # 执行后续操作
  

内容的提问来源于stack exchange，提问作者kamlesh Bannagare