高并发网页爬取：Python Threading与Gevent选型咨询

嘿，这个问题我太有发言权了——之前做过好几轮高并发爬虫的优化，正好聊聊你的困惑！

一、线程（Thread）与Greenlet的核心差异 #

这俩本质上都是实现并发的方式，但底层逻辑和适用场景差得挺远：

• 调度控制权完全不同：
  线程是操作系统内核调度的，内核会根据时间片、IO阻塞等情况自动切换线程，每次切换都要从用户态进入内核态，开销不小。而Greenlet是用户态轻量级协程，由gevent这类库在用户代码层面调度，完全不依赖内核，切换时只是在用户态做栈切换，开销几乎可以忽略。

• 资源占用天差地别：
  每个操作系统线程默认要占用1MB左右的栈空间，再加上线程控制块等资源，1000个线程就要吃掉近1GB的内存。而Greenlet的栈极小，通常只有几KB，同样内存下能创建的Greenlet数量是线程的几百倍。

• 并行能力不同：
  线程在多核CPU上可以真正并行执行（多个线程同时跑在不同核心），但Greenlet属于单进程内的协程，同一时间只有一个Greenlet在运行——不过你的场景是多数时间在等IO响应，这个并行能力的差异对你来说几乎没用，因为IO阻塞时线程也会被挂起，反而协程的切换效率更高。

• IO处理逻辑不同：
  线程遇到IO阻塞时，内核会把整个线程挂起，然后调度其他线程；而gevent通过monkey.patch_all()把标准库的IO操作改成非阻塞的，当某个Greenlet遇到IO等待时，gevent会自动切换到另一个就绪的Greenlet，全程不需要内核插手，IO利用率更高。

二、单进程中最大线程/Greenlet数量建议 #

1. 线程的最大数量 #

线程的上限主要受内存和操作系统线程数限制：

• 内存方面：按每个线程1MB栈计算，1000个线程需要约1GB内存，再加上程序本身的内存占用，你的服务器至少要有2GB以上空闲内存才能支撑。
• 系统限制：Linux默认单个进程的线程数上限一般是几千（可以通过ulimit -u查看），1000个线程远低于这个上限。
• 性能拐点：虽然理论上能开1000个线程，但线程切换的开销会随着数量增加而急剧上升，当线程数超过CPU核心数的50-100倍后，性能反而会下降。如果你的爬虫是纯IO密集型，开到200-500个线程其实就足够，1000个虽然能跑，但性价比不高。

2. Greenlet的最大数量 #

Greenlet因为资源占用极低，单进程开几万甚至十几万都没问题：

• 你的需求是1000个，完全是小菜一碟，甚至开2000、5000个都不会有明显的内存压力。
• 唯一需要注意的是，如果你的爬虫有少量CPU密集型逻辑，过多Greenlet会增加调度开销，但你的场景是多数时间等响应，所以完全不用担心，放心开就行。

最后给你的建议 #

你的场景是典型的IO密集型爬虫，需要1000并发，优先选gevent：

• 它的开销更低，能轻松支撑大量并发，内存占用只有线程的几十分之一；
• 代码改动极小，只要加一行gevent.monkey.patch_all()，原来的同步爬虫代码几乎不用改就能变成异步并发；
• 性能比线程更稳定，不会因为线程数量多导致切换开销飙升。

内容的提问来源于stack exchange，提问作者Johna Brava