asyncio混合同步socket检测与asyncssh任务并发未达千级预期原因排查
1. 默认线程池的吞吐瓶颈是最大元凶
你调用loop.run_in_executor()时没有自定义线程池,Python asyncio 对未指定执行器的同步任务,默认使用内置全局线程池。从Python 3.8开始,这个线程池的最大工作线程数固定为min(32, os.cpu_count() + 4)——也就是说哪怕你一次性扔1000个socket连通性检测的同步任务进去,实际同时在跑的线程最多也就十几到二十几个,根本达不到1000并发的设计预期。
按这个规模算,如果每个连通性检测任务平均耗时0.5-1秒(尤其是遇到网络不可达IP时需要等待TCP超时的场景),整体吞吐刚好就是每秒20个任务左右,和你实测的异常值完全吻合。
2. 切批次加sleep的控流设计完全失效
你原本想通过1000个IP为一批、批间sleep1秒的方式规避1024连接的系统限制,但实际执行逻辑是:你会把一整批1000个asyncio Task全部初始化完成后一次性交给事件循环,根本不存在“等整批任务全部跑完再启动下一批”的逻辑。
这种模式下,所有任务先在全局线程池外排队,等被线程池调度执行完连通性检测后,又会一拥而上发起asyncssh连接,既没有真正控制住峰值连接数,还因为队列堆积带来了大量任务调度的额外开销,进一步拉低整体效率。
3. 无硬限流触发的系统资源抢占
Linux单进程1024个连接的限制本质是单进程可打开的最大文件描述符数限制,你没有对全局并发数做硬卡控,在线程池处理完一波连通性检测后,短时间内会产生大量并发TCP连接,占满fd配额后新发起的连接会直接抛错。如果部分失败任务没有做快速返回处理,还会持续等待超时触发,进一步拖慢整体吞吐。
4. 事件循环的任务堆积开销
一次性初始化上千个asyncio Task,哪怕没有真正开始执行,事件循环也需要维护每个Task的状态机、回调队列、future引用。当有大量Task处于等待executor回调的状态时,事件循环单线程调度本身的开销会持续上升,导致任务调度延迟变高。
- 自定义独立的线程池承载socket连通性检测的同步逻辑:这类任务属于纯网络IO场景,设置500-1000个工作线程完全不会占用过多CPU资源,完全可以替换默认的小线程池配置
- 放弃切批次加sleep的粗放控流方式,使用
asyncio.Semaphore做全局硬限流,把同时运行的总任务数严格控制在系统fd限制的70%左右(比如700个,留够冗余给其他系统连接占用),从根源上避免fd占满、任务堆积的问题 - 把socket连通性检测的超时时间压缩到200-300ms,避免大量不可达IP占用工作线程空等
- 分阶段定位瓶颈:先跳过asyncssh连接环节,只测试纯socket检测环节的吞吐,确认瓶颈到底是在线程池调度阶段,还是SSH连接建立阶段
内容的提问来源于stack exchange,提问作者Kroll

