Python如何同时发起两个URL请求实现设备IP并行检测与流程分支
优化方案实现
核心优化逻辑
- 替换原有的串行双请求逻辑,改为并行同时发起两个目标地址的探测请求,哪个地址先返回可达状态,立即终止无意义的等待,单台设备的最长探测耗时从原来的20秒压缩到10秒
- 采用线程池做批量任务调度,控制并发规模,避免一次性发起8000个请求占满系统资源,平衡检测效率和网络稳定性
- 保留原有的业务判定规则:探测到故障IP可达则直接终止程序;确认正确IP可达则继续后续流程
可运行的落地代码
单设备双请求并行探测实现
用threading.Event做跨线程的结果同步,逻辑简单易读,不需要引入额外依赖,完全基于你现有代码使用的urllib库实现:
import urllib.request import urllib.error import threading import sys # 线程安全的事件对象,用于跨线程传递探测结果 detect_event = threading.Event() detect_result = None def probe_url(url, is_fault_url, timeout=10): """ 探测指定URL的可达性 :param url: 目标探测地址 :param is_fault_url: 标记是否为故障IP地址 :param timeout: 单请求超时时间 """ global detect_result try: # 获取状态码即判定为可达 status_code = urllib.request.urlopen(url, timeout=timeout).getcode() # 已有其他线程拿到探测结果,直接退出不重复处理 if detect_event.is_set(): return # 记录结果:1=故障IP可达,0=正确IP可达 detect_result = 1 if is_fault_url else 0 detect_event.set() except urllib.error.URLError: # 请求不可达,直接结束线程 return # 并行发起两个目标地址的探测线程 thread_fault = threading.Thread(target=probe_url, args=("http://10.10.10.2", True)) thread_correct = threading.Thread(target=probe_url, args=("http://192.168.100.5", False)) thread_fault.start() thread_correct.start() # 等待任意一个探测结果返回,最长等待10秒 detect_event.wait(timeout=10) # 按业务规则走对应分支 if detect_result == 1: print("检测到设备可访问故障IP http://10.10.10.2,配置故障,程序终止") sys.exit(0) elif detect_result == 0: print("检测到设备可访问正确IP http://192.168.100.5,配置合规,继续后续流程") else: print("两个目标地址均不可达,设备状态异常")
8000台设备的批量并发调度
如果直接为每台设备开一个线程,会耗尽系统的socket端口和文件句柄,反而导致请求超时率飙升。通过ThreadPoolExecutor固定并发数,在不打满网络和系统资源的前提下最大化检测效率:
from concurrent.futures import ThreadPoolExecutor import time # 替换为你实际的8000台设备IP清单 device_list = [f"192.168.1.{i}" for i in range(1, 8001)] def detect_single_device(device_ip): global detect_event, detect_result # 每次探测前重置事件状态和结果 detect_event.clear() detect_result = None thread_fault = threading.Thread(target=probe_url, args=("http://10.10.10.2", True)) thread_correct = threading.Thread(target=probe_url, args=("http://192.168.100.5", False)) thread_fault.start() thread_correct.start() detect_event.wait(timeout=10) # 检测到故障设备时抛出异常,终止整个批量检测流程 if detect_result == 1: raise RuntimeError(f"设备 {device_ip} 配置故障,可访问故障IP,程序终止") return f"设备 {device_ip} 检测完成,配置合规" # 初始化线程池,根据实际网络带宽调整max_workers参数,建议取值100-200 with ThreadPoolExecutor(max_workers=100) as executor: start_time = time.time() for detect_res in executor.map(detect_single_device, device_list): print(detect_res) print(f"全量检测完成,总耗时:{time.time() - start_time:.2f} 秒")
效率对比
- 原串行实现:单台设备最坏需要等待20秒(故障IP10秒超时 + 正确IP10秒超时),8000台设备全量完成最坏需要44小时以上
- 优化后实现:单台设备最坏等待10秒,100并发下8000台设备全量完成最坏仅需13分钟左右,若网络带宽充足调整并发数到200,总耗时可压缩到6-7分钟
注意事项
- 线程池的并发数不要设置过高,建议不超过300,过高会导致网络拥塞、端口耗尽,反而提升超时率
- 若探测过程中存在大量跨网段请求,需提前确认运行主机的路由连通性,避免出现误判
- 代码完全保留了你原有的业务逻辑,只要检测到任意一台设备可访问故障IP,会立刻终止整个程序,不会继续等待剩余设备的检测结果
内容的提问来源于stack exchange,提问作者BarryKingston
相关产品推荐
相关产品推荐

