Python多线程查询MongoDB遭遇栈溢出错误求助

嘿，刚看到你遇到的这个麻烦——第一次高频怼5亿文档的MongoDB就碰上个栈溢出，还一堆自动加股票代码到重试列表的日志，而且这重试逻辑还不是你写的，确实够头疼的。我来帮你拆解下可能的原因和解决办法：

核心问题分析 #

首先，那些adding XXX to retry list的日志大概率是你用的MongoDB Python驱动（比如pymongo）自带的重试机制在干活——当查询遇到超时、连接中断这类可重试错误时，驱动会自动把请求放回重试队列。而最终触发的Fatal Python error: Cannot recover from stack overflow，很大概率是驱动的重试逻辑用了递归实现，高频重试+递归调用层数太深，直接把Python的调用栈撑爆了。

另外，你是首次高频查询这个5亿级的大库，还有几个潜在诱因：

• 索引缺失：如果查询没用到合适的索引，单条查询耗时太长，频繁触发超时重试，恶性循环。
• 线程数过高：并发线程太多，把MongoDB的连接池耗尽，每个线程都在等连接，导致请求超时，触发重试。
• 重试配置不合理：默认的重试次数、间隔设置太激进，导致短时间内递归重试次数过多。

具体解决步骤 #

1. 调整MongoDB驱动的重试配置 #

如果用的是pymongo，默认的重试逻辑可能是递归的。你可以手动配置重试策略，改用迭代式的重试，或者限制重试次数：

from pymongo import MongoClient
from concurrent.futures import ThreadPoolExecutor

# 手动配置重试参数，限制总重试时长避免无限递归
client = MongoClient(
    "mongodb://your-host:27017/",
    retryReads=True,
    retryWrites=True,
    maxRetryTimeMS=5000,  # 限制总重试时间为5秒
    serverSelectionTimeoutMS=3000
)

# 自定义迭代式重试装饰器，替代驱动的递归重试
def retry_query(max_retries=3):
    def decorator(func):
        def wrapper(*args, **kwargs):
            for attempt in range(max_retries):
                try:
                    return func(*args, **kwargs)
                except Exception as e:
                    print(f"第{attempt+1}次查询失败，重试中: {str(e)}")
            raise Exception(f"查询{max_retries}次均失败，已放弃")
        return wrapper
    return decorator

# 用自定义装饰器包裹查询函数
@retry_query(max_retries=3)
def fetch_stock_data(collection, stock_code):
    return collection.find_one({"stock_code": stock_code}, {"_id": 0, "price": 1, "timestamp": 1})

2. 优化查询性能（重中之重） #

5亿文档的库，高频查询没索引等于自杀：

• 给查询字段建索引：比如针对股票代码字段建单键索引，或者结合其他查询条件建复合索引：

# 给stock_code字段建索引
collection.create_index("stock_code")

• 用explain()分析查询计划：确认你的查询是否用到了索引，避免全表扫描：

query_plan = collection.find({"stock_code": "AAXN"}).explain()
print(query_plan["executionStats"]["executionStages"]["stage"])  # 输出为IXSCAN才是用到了索引

• 限制返回字段：只查你需要的字段，减少数据传输量，加快查询速度。

3. 控制线程并发数 #

线程数不是越多越好，要匹配MongoDB的连接池大小（pymongo默认连接池大小是100）：

• 把线程池大小设置为连接池的80%左右，避免连接耗尽：

# 用线程池管理并发，设置max_workers为50（根据你的连接池调整）
with ThreadPoolExecutor(max_workers=50) as executor:
    stock_codes = ["AAXN", "AABA", "其他股票代码..."]
    futures = [executor.submit(fetch_stock_data, collection, code) for code in stock_codes]
    # 处理查询结果
    for future in futures:
        try:
            data = future.result()
            # 处理数据逻辑
        except Exception as e:
            print(f"处理股票数据失败: {str(e)}")

4. 排查重试触发的根源 #

开启pymongo的详细日志，看看到底是什么错误触发了重试：

import logging
logging.basicConfig(level=logging.DEBUG)
# 运行后会输出驱动的详细日志，包括重试的触发原因（比如连接超时、查询超时）

如果是连接超时，可能需要调整MongoDB的maxConnections参数；如果是查询超时，还是得回到查询性能优化上。

最后提醒 #

栈溢出在Python里是致命错误，没法在运行时捕获，所以一定要从源头避免递归重试次数过多，同时优化查询和并发策略，减少重试的触发概率。

内容的提问来源于stack exchange，提问作者nicholas.reichel