Python主线程死循环导致子线程运行速度降2-3倍的问题求解

这个性能下降的核心是CPython的**全局解释器锁（GIL）**的调度机制：

• 主线程的空转无限循环是纯CPU密集型操作，几乎没有IO等待，会持续抢占GIL资源
• 子线程的HTTP请求是IO密集型操作，大部分时间在等待网络响应，需要频繁申请GIL才能执行请求完成后的逻辑，抢不过一直占着CPU的主线程，导致执行流程被频繁拖慢
• 而使用time.sleep()的时候主线程会主动释放GIL进入阻塞状态，完全不抢占调度资源，子线程就能拿到足够的运行时间

1. 移除无意义的主线程空转循环
   如果你只是需要主线程阻塞等待所有子线程运行，直接给所有子线程调用join()方法即可，不需要自己写死循环：

def main ():
    global resp
    # 存储所有线程实例
    threads = []
    for i in range(5):
        time.sleep(0.1)
        threadParserStart = threadParser(target=get_request, name=f"Thread-Parser {i + 1}")
        threadParserStart.start()
        threads.append(threadParserStart)
    # 主线程阻塞等待所有子线程运行结束
    for t in threads:
        t.join()

2. 如果确实需要主线程循环执行其他逻辑，在循环里加极短的休眠主动让出GIL即可，对主线程逻辑的性能影响几乎可以忽略：

while (True):
    a = 1
    time.sleep(0.001)
    continue

• 用协程替代多线程做IO密集型请求：IO密集型场景下协程的调度开销远小于线程，推荐用aiohttp替代httplib2做异步HTTP请求，单进程就能轻松支持高并发请求，完全不需要担心GIL调度问题
• 移除不必要的自定义线程类：你当前实现的threadParser类没有新增必要功能，直接用Python标准库的threading.Thread即可，减少额外的封装开销
• 复用HTTP连接：你现在每次请求都新建httplib2.Http()实例，会反复建立TCP连接，复用同一个Http实例或者使用连接池可以大幅提升请求速度
• 如果后续有计算密集型的解析逻辑，把解析部分放到多进程中执行避开GIL限制，网络请求部分继续用异步/多线程处理即可

内容的提问来源于stack exchange，提问作者Workingsolutions