Python多线程发起requests请求时if条件判断无法正确执行问题

算力阿峰

2026-9-3

问题根因

这类多线程场景下判断逻辑失效，90%以上是以下几个原因导致的：

共享变量无锁访问：把命中标记、循环控制位、响应内容对象设为全局变量/跨线程共享变量，多个线程同时读写时会出现值覆盖。比如线程A刚把命中标记设为True还没执行后续逻辑，线程B就把标记改回False，直接导致if判断拿到的状态和当前线程实际处理结果完全不符。
流程对象跨线程复用：把requests会话对象、BeautifulSoup解析结果、正则匹配中间结果放在线程外共享，会导致当前线程拿到的页面内容是其他线程请求的URL返回的，判断和实际处理的URL错位。
异常未捕获导致分支未执行：请求超时、页面编码异常、解析空内容时如果没有加异常捕获，线程会静默崩溃，你预设的if判断分支根本没有执行，表现出来就是逻辑不符合预期。
循环层级错误：如果任务函数里嵌套了多层循环（比如先遍历参数再遍历URL），break只会跳出当前所在的最内层循环，if判断写在错误层级的话，就算命中也不会触发预期的跳出/输出逻辑。

修复方案

按照以下规则改代码即可解决：

所有线程内的状态变量全部做线程隔离：用threading.local()存储每个线程独立的会话、标记位，禁止无锁读写全局变量。只读的配置（比如UA池、预编译好的正则规则）可以全局共享，读写的状态必须线程私有。
单任务流程闭环：每个线程从生成请求头、发请求、解析内容到做判断的全流程在任务函数内完成，不要跨线程传递响应对象、解析结果。
全链路加异常兜底：每个异常分支都明确输出日志，不要让线程静默退出，方便定位逻辑未执行的原因。
用return代替多层break：只要命中匹配规则，直接在任务函数内返回结果，不需要靠break逐层跳循环，从根源避免循环层级错误。

可参考的正确实现代码：

import re
import random
import requests
from bs4 import BeautifulSoup
from concurrent.futures import ThreadPoolExecutor
import threading

# 线程本地存储，每个线程的变量完全独立
thread_local = threading.local()
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 13_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.6 Safari/605.1.15"
]
# 预编译正则为只读对象，可全局共享
TARGET_PATTERN = re.compile(r"需要匹配的目标文本关键词")

def get_session():
    # 每个线程独立持有requests session，避免连接池冲突
    if not hasattr(thread_local, "session"):
        thread_local.session = requests.Session()
    return thread_local.session

def check_url(url):
    session = get_session()
    headers = {"User-Agent": random.choice(USER_AGENTS)}
    try:
        resp = session.get(url, headers=headers, timeout=10)
        resp.encoding = resp.apparent_encoding
        soup = BeautifulSoup(resp.text, "html.parser")
        page_text = soup.get_text()
        # 所有判断用到的变量均为当前线程私有，不会被其他线程篡改
        if TARGET_PATTERN.search(page_text):
            print(f"[有效] {url}")
            return (url, True)
        print(f"[无效] {url}")
        return (url, False)
    except Exception as e:
        print(f"[请求异常] {url}: {str(e)}")
        return (url, False)

if __name__ == "__main__":
    # 读取本地URL列表
    with open("url_list.txt", "r", encoding="utf-8") as f:
        url_list = [line.strip() for line in f if line.strip()]
    # 8线程并发处理
    with ThreadPoolExecutor(max_workers=8) as executor:
        results = executor.map(check_url, url_list)
    # 主线程统一收集所有结果即可

快速排查方法

调试时在if判断分支打印当前线程名、处理的URL、匹配到的文本片段，确认判断逻辑拿到的内容和当前线程处理的任务一一对应。
先把并发线程数设为1单线程运行，如果单线程下逻辑完全正常，多线程下异常，就可以确定是共享变量线程安全问题，重点排查所有跨线程可写的变量。
多线程收集结果优先用executor.map或者future.result()获取任务函数的返回值，由主线程统一存储，不要在子线程里直接写全局的结果列表/字典，必须要写的话要加threading.Lock加锁。

内容的提问来源于stack exchange，提问作者Mildred J. James