批量导入MongoDB遇AutoReconnect错误，能否通过重试解决？

可以通过捕获pymongo.errors.AutoReconnect异常并实现重试逻辑来缓解这个连接重置问题，但仅靠重试还不够，需要配合代码优化才能彻底解决批量插入时的稳定性问题。

原代码的核心问题 #

1. 频繁创建MongoClient实例：每次调用insertData都新建连接，频繁的连接创建/销毁会大幅提升连接重置的概率，MongoClient本身是线程安全的，应当复用而非每次新建。
2. 无异常处理机制：遇到连接中断时直接崩溃，没有容错能力。
3. 危险的集合清空操作：插入前直接collection.drop()，若中途出错，已插入的数据会全部丢失，不符合数据安全要求。

优化方案（含重试逻辑） #

1. 复用MongoClient连接 #

将MongoClient的初始化移到函数外部，全局复用连接：

from pymongo import MongoClient
from pymongo.errors import AutoReconnect
import time
from pymongo.server_api import ServerApi

# 全局初始化一次MongoClient，复用连接
client = MongoClient(
    "mongodb+srv://admin:password@url.mongodb.net/?retryWrites=true&w=majority&socketTimeoutMS=360000&connectTimeoutMS=360000",
    server_api=ServerApi('1')
)

2. 实现带指数退避的重试函数 #

针对insert_many操作添加重试逻辑，使用指数退避策略避免频繁重试加重服务器负载：

def insert_with_retry(collection, chunk, max_retries=5):
    retries = 0
    while retries < max_retries:
        try:
            return collection.insert_many(chunk)
        except AutoReconnect as e:
            retries += 1
            print(f"连接中断，重试第{retries}次 | 错误信息: {e}")
            time.sleep(2 ** retries)  # 指数退避，间隔依次为2s、4s、8s...
    raise Exception(f"经过{max_retries}次重试仍无法插入当前分块")

3. 重构插入主函数 #

优化insertData，移除危险的drop操作（如需全量更新，建议先插入新数据再删除旧数据），并调用重试函数：

def insertData(data, collection):
    if not data:
        print("无数据需要插入")
        return
    
    chunks = [data[x:x+5000] for x in range(0, len(data), 5000)]
    total_inserted = 0
    
    try:
        # 如需清空集合，建议先备份或确保业务允许数据临时缺失
        # collection.drop()
        
        for chunk in chunks:
            result = insert_with_retry(collection, chunk)
            inserted_count = len(result.inserted_ids)
            total_inserted += inserted_count
            print(f"成功插入{inserted_count}条数据，累计插入{total_inserted}条")
    except Exception as e:
        print(f"插入失败: {e}")

额外建议 #

• 调整分块大小：若5000条仍触发连接问题，可尝试缩小分块（如2000条），降低单次请求的负载。
• 排查网络与服务器状态：连接重置可能由网络波动、MongoDB服务器负载过高、防火墙限制等导致，若重试后仍频繁出现，需检查这些环境因素。
• 开启连接池监控：MongoClient默认开启连接池，可通过client.admin.command('connPoolStats')查看连接池状态，优化连接池参数（如maxPoolSize）。

内容的提问来源于stack exchange，提问作者Ubuntuser