Python中CPU和RAM占满时 结合多进程多线程能否提升任务效率

核心问题解答 #

• 同时包含CPU bound和IO bound的混合任务，采用分层解耦架构处理：IO密集的网络请求环节用多线程/协程充分利用等待时间，CPU密集的解析、数据写入环节用多进程绕开GIL限制，两个环节之间用队列做异步数据传输即可。
• 当前CPU、内存使用率已达上限的前提下，直接新增进程/线程完全不能提升效率，反而会因为系统频繁切换进程/线程的上下文额外消耗资源，导致整体运行速度更慢。

针对性优化步骤（优先本地优化，无需上服务器） #

第一步：先做单任务效率优化，释放硬件资源 #

你当前的性能瓶颈核心是单任务的资源浪费太高，先完成以下优化可至少把单关键词处理耗时降到3秒以内，CPU、内存占用降低50%以上：

1. 替换解析逻辑降低CPU消耗
   不要通过Selenium调用浏览器API提取元素，直接调用driver.page_source拉取当前页面完整HTML源码，用带C扩展的lxml库做Xpath匹配提取字段，比Selenium原生元素提取速度快3~5倍，CPU占用直接降40%以上。
2. 优化Excel写入逻辑
   不要每处理完一个关键词就写入Excel，先把解析结果攒到内存列表，攒够50~100个关键词的结果后，用openpyxl的write_only模式批量写入，比逐行写入速度快10倍以上，还能避免频繁磁盘IO带来的CPU空转。
3. 降低Selenium本身的资源占用
   启动Chrome/Edge浏览器时开启无头模式，同时禁用图片加载、CSS渲染、非必要JS执行、插件和自动更新，单浏览器实例内存占用可从1~2G降到200M以内，CPU占用再降30%。另外所有关键词复用同一个浏览器实例，只用新标签页处理请求，用完关闭标签页即可，避免频繁启动销毁浏览器的额外开销。

第二步：优化完成后再上混合并发架构 #

等单任务优化完成、CPU内存有剩余空间后，再用以下架构进一步提速：

• 启动的进程数设置为「CPU物理核心数-1」，每个进程只负责CPU密集的解析、批量写Excel任务，完全绕开GIL锁的限制。
• 每个进程内部启动3~5个线程，专门负责Selenium页面请求拉取源码，把网络请求的等待时间利用起来。
• 用全局队列做任务分发：所有待处理关键词先存入任务队列，各个进程从队列取任务，进程内的线程拉取到页面源码后直接交给同进程的解析逻辑处理，攒够批量阈值后写入Excel即可。

极端情况处理 #

如果完成以上所有优化后CPU还是满负载，说明本地硬件性能已经到顶，此时再调整并发参数也没用，再考虑升级本地硬件或者迁移到服务器运行。

内容的提问来源于stack exchange，提问作者Luke Hamilton