Python结合Selenium/requests批量爬虫时网页加载变慢原因排查

本地程序与部署环境侧诱因 #

• Selenium进程泄漏：1核1G的低配服务器本身算力冗余极低，若每次调用Selenium后未执行driver.quit()彻底销毁实例，残留的浏览器渲染进程会持续占用CPU、文件句柄资源，爬取量级累积到3000+次时，残留进程的资源开销会直接拖慢新请求的处理速度。可执行ps aux | grep chrom(e|ium)核查后台是否存在大量残留浏览器进程。
• 临时文件与连接堆积：Selenium运行时会持续在系统临时目录生成缓存、日志文件，数千次请求后临时目录文件量过大会触发磁盘IO寻址瓶颈；若requests请求未复用requests.Session()实例，每次新建连接会累积大量TIME_WAIT状态的TCP连接，占满本地端口池后新请求必须等待端口释放才能发起，直接拉高单请求耗时。可执行ss -s查看TCP连接状态分布验证该问题。
• 注意你配置的10GB swap在机械盘的云服务器上本身会带来极高的IO延迟，哪怕内存没占满，只要有少量进程内存被换入swap，也会导致CPU等待IO的时间大幅上涨。

目标网站侧反爬与限流诱因 #

这是数千次连续爬取后速度陡降的最高发原因，大部分网站不会直接封禁异常访问IP，而是优先做软限流：

• 频次触发的流量降级：网站对单IP的访问频率设置阈值，连续请求数达到阈值（通常就是数千次这个量级）后，会将该IP的请求划入低优先级队列，人为增加响应延迟，不会直接返回403/429状态码，隐蔽性很强。
• 爬虫指纹识别：Selenium启动的浏览器默认存在大量可被检测的特征（比如navigator.webdriver属性为true、无头模式特征、默认字体/插件指纹异常），网站累积足够的特征样本判定为爬虫流量后，会对该类流量返回带额外校验逻辑的页面、降低响应优先级，直接拉长加载耗时。
• IP段信誉惩罚：低配云服务商的共享IP段本身属于爬虫高发区，Linode的这类IP如果此前被其他用户用于爬取同站点，本身信誉分较低，连续访问达到阈值后会被自动施加更严格的流量限制。

快速验证方法 #

• 本地问题验证：杀掉所有残留浏览器进程、清理系统临时目录、重启程序，若速度立刻回到0.1秒/页的水平，即为本地资源问题；若重启后跑到相近量级再次变慢，基本可判定为站点侧限流。
• 限流问题验证：更换出口IP后重新发起请求，若速度直接恢复，即为原IP被限流；同服务器下用非自动化的普通浏览器访问目标页面，若加载速度仍为3-4秒，说明是IP维度的限制，若普通浏览器访问速度为0.1秒级，说明是Selenium指纹被识别。

内容的提问来源于stack exchange，提问作者user18544188