PyMongo出现OperationFailure（操作中断）问题求助

Hey，我之前处理过类似的大规模MongoDB批量查询问题，结合你给出的错误信息和环境，来帮你梳理下可能的原因和解决办法：

• MongoDB端游标/操作超时：MongoDB默认会对闲置游标设置10分钟的超时时间，如果你的单批次查询因为数据分布零散、服务器负载高导致耗时过长，或者游标持有时间太久，就会被服务器主动中断。另外部分MongoDB部署会设置全局operationTimeLimit，超过阈值的操作都会被终止。
• PyMongo客户端超时限制：你使用的PyMongo 3.7.1版本默认的socketTimeoutMS和connectTimeoutMS值较短（默认30秒），如果查询过程中出现网络波动、服务器响应延迟，客户端会主动断开连接，触发这个错误。
• 服务器资源瓶颈：400万条数据分批次持续查询，可能会把MongoDB服务器的CPU、内存或磁盘IO占满，服务器为了维持稳定，会主动中断部分请求。

1. 调整游标与查询超时设置 #

给查询添加no_cursor_timeout=True避免游标闲置超时，注意用完必须手动关闭游标，否则会占用服务器资源：

cursor = db.your_collection.find({'_id': {'$in': sub_list}}, no_cursor_timeout=True)
try:
    for r in cursor:
        # 你的数据处理逻辑
        pass
finally:
    # 手动关闭游标释放资源
    cursor.close()

如果是服务器端的操作超时，可以在查询时指定maxTimeMS设置合理的超时阈值（比如30000毫秒=30秒），或者联系运维/DBA调整MongoDB的全局超时配置。

2. 优化PyMongo客户端的超时参数 #

在创建MongoClient时，增大socket和连接的超时时间，避免客户端主动中断请求：

from pymongo import MongoClient

# 超时设置为60秒，可根据实际情况调整
client = MongoClient(
    'mongodb://your_host:your_port/',
    socketTimeoutMS=60000,
    connectTimeoutMS=60000,
    waitQueueTimeoutMS=60000
)

3. 优化批量查询逻辑 #

• 调整批次大小：当前200条/批的设置可以根据服务器性能调整，比如尝试500条/批，减少总请求次数，降低服务器压力；
• 添加batch_size参数：让游标分批从服务器拉取数据，而不是一次性获取所有结果，减少单次请求的数据传输量：

  cursor = db.your_collection.find({'_id': {'$in': sub_list}}).batch_size(100)
  

• 异步处理数据：把数据处理逻辑放到单独的线程/进程中，让游标尽快遍历完成，缩短游标持有时间，避免超时。

4. 排查服务器资源状态 #

• 查看MongoDB的日志文件（通常路径为/var/log/mongodb/mongod.log），查找关于操作中断的具体日志信息，比如是否触发了OOM killer、CPU使用率过高；
• 使用mongostat工具实时监控服务器的负载、IO、连接数等指标，确认是否是资源瓶颈导致的操作中断。

内容的提问来源于stack exchange，提问作者chango