Python asyncio中调用future.set_exception产生过长递归traceback问题

你遇到的超长traceback不是递归导致的，核心原因是同一个异常实例被赋值给了批次内的所有future：

• Python的异常对象携带的__traceback__属性是可变的
• 每次await一个绑定了该异常的future时，当前调用栈（也就是你代码里process函数的return await future这一层）会被追加到异常的traceback中
• 你批次里有10个future，asyncio.gather会依次处理所有future的异常，所以同一个异常会被追加9次额外的process调用栈，最终呈现出重复的栈片段

方案1：给每个future传递独立的异常实例 #

不要共享同一个异常对象，循环赋值时为每个future单独创建异常副本，同时保留原始异常的栈信息，改动最小完全兼容原有逻辑：

async def process_batch():
    try:
        raise RuntimeError("Oops")
    except Exception as err:
        # 先保留原始异常的类型、消息和栈信息
        err_type = type(err)
        err_msg = str(err)
        original_tb = err.__traceback__
        for future in batch:
            # 每个future使用独立的异常实例
            new_err = err_type(err_msg)
            new_err.__traceback__ = original_tb
            future.set_exception(new_err)

方案2：将批次处理改为后台任务触发 #

原有逻辑中批次满时，当前process函数会同步await process_batch()，这也会导致调用栈串连。可以改为创建后台任务执行批次处理，避免当前process的栈混入批次处理链路，同时逻辑上更合理，不会让某一个请求的执行链路承担批次处理的阻塞开销：

async def process():
    loop = asyncio.get_running_loop()
    future = loop.create_future()
    batch.append(future)
    if len(batch) >= batch_len:
        # 改为后台任务执行，不阻塞当前process的await逻辑
        loop.create_task(process_batch())
    return await future

方案3：手动裁剪异常栈（可选） #

如果需要更精简的traceback，可以在设置异常时手动裁剪掉不需要的上层栈，只保留业务相关的核心栈段即可。

内容的提问来源于stack exchange，提问作者teq