pymongo连接MongoDB命令执行失败的异常处理及内存释放方案

问题诱因分析 #

你遇到的MongoDB服务端out of memory报错是服务端内存被耗尽导致，和客户端新建连接没有直接关系，核心诱因有3个：

• 你执行的db.command如果是高资源消耗操作（比如全表聚合、批量索引构建、无游标全量查询等），哪怕最终执行失败，服务端在执行过程中已经分配的内存不会立刻回收，数千次失败操作的内存占用累计后就会触发OOM。
• 异常捕获逻辑没有做资源清理：如果命令执行生成了服务端游标，异常退出时没有主动关闭游标，服务端会一直持有游标对应内存直到自动超时，上千次操作的残留游标累计会快速占满内存。
• 你的代码存在语法错误：db.command("command": collection)的参数写法不符合Python语法要求，会导致每次调用都直接抛异常，相当于循环内不停触发无效请求，服务端每次处理无效请求也会生成上下文内存，累计后也会加剧内存占用。

疑问解答 #

1. 是否命令失败会导致pymongo每次新建连接引发内存溢出？ #

不会。你全局只初始化了一次pymongo.MongoClient，pymongo默认自带连接池，只要没有主动新建Client实例，就不会每次失败都创建新连接，服务端OOM和客户端新建连接无关。

2. 是否是异常捕获方式存在问题？ #

是的，你的异常捕获逻辑有两个明显缺陷：

• 捕获范围过宽：把所有Exception都统一捕获只打印日志，你无法区分是参数错误、连接错误还是服务端执行错误，也无法针对不同异常做资源清理。
• 没有残留资源清理逻辑：执行失败后没有主动释放服务端对应的执行资源（比如游标、未完成的执行任务），导致内存不断堆积。

3. 捕获异常时关闭现有pymongo连接再新建连接是不是更优的处理方案？ #

不是最优方案，甚至完全没必要每次异常都重建连接，频繁重建连接反而会增加服务端的连接上下文开销。

修复方案 #

你可以按以下优先级调整逻辑：

1. 先修正db.command的语法错误，正确写法为db.command({"command": collection})或者db.command("command", collection)，避免无意义的无效请求。
2. 缩小异常捕获范围，不要直接捕获所有Exception，先单独捕获参数错误、语法错误类异常直接跳过，针对执行超时类异常，先调用db.kill_op()杀掉服务端对应的执行任务再继续下一条。
3. 如果是查询类命令，不要一次性拉取全量数据，指定batch_size参数用游标迭代获取，异常时主动调用cursor.close()关闭游标释放服务端内存。
4. 可以每处理100~200条命令，主动调用mongoDBConnection.close()关闭当前连接池，再新建MongoClient实例继续执行，避免单连接池累计的上下文占用过多服务端内存。

内容的提问来源于stack exchange，提问作者user17193038