Python并行请求千余URL并获取内容的线程实现疑问

嘿，看来你已经搭好基础函数了，就差把多线程的最后一块拼图补上对吧？别担心，我给你两种实用的方案，轻松搞定1000+URL的批量处理！

首先得明确：多线程的核心是让多个任务并行执行，同时要安全地收集每个线程的结果——直接让多个线程往同一个列表里塞数据虽然Python的list.append是线程安全的，但用队列或者线程池返回结果的方式更规范，也更容易排查问题。

方案一：手动管理线程（适合理解底层逻辑） #

如果你想亲手控制线程的创建和执行，可以用threading模块配合线程安全的Queue来存结果：

import threading
from queue import Queue

# 假设这是你已有的「获取文章标题+内容」的函数（返回元组或字典都行）
def fetch_article(url):
    # 这里替换成你实际的逻辑：请求URL、解析页面
    title = f"从{url}获取的标题"
    content = f"从{url}获取的内容"
    return (title, content)

# 每个线程要执行的任务：调用fetch_article，把结果放进队列
def thread_task(url, result_queue):
    try:
        article_data = fetch_article(url)
        result_queue.put(article_data)
    except Exception as e:
        print(f"处理URL {url}失败: {str(e)}")

def batch_fetch(url_list):
    # 初始化线程安全的队列，用来存所有线程的结果
    result_queue = Queue()
    threads = []

    # 为每个URL创建线程并启动
    for url in url_list:
        thread = threading.Thread(target=thread_task, args=(url, result_queue))
        threads.append(thread)
        thread.start()

    # 等待所有线程执行完毕
    for thread in threads:
        thread.join()

    # 把队列里的结果转成列表
    article_list = []
    while not result_queue.empty():
        article_list.append(result_queue.get())
    
    return article_list

# 调用示例
url_list = ["https://example.com/1", "https://example.com/2", ...]  # 你的1000+URL
all_articles = batch_fetch(url_list)

这个方案的逻辑很清晰：每个线程做完任务就把结果丢进队列，主线程等所有线程跑完再统一取结果，完全避免了多线程直接操作同一个列表的潜在风险。

方案二：用ThreadPoolExecutor（简洁省心，推荐） #

Python的concurrent.futures模块提供了ThreadPoolExecutor，可以帮你自动管理线程池，不用手动创建和维护线程，代码更简洁：

基础版（保持URL顺序） #

如果需要结果和输入的URL列表顺序一致，用map方法最方便：

from concurrent.futures import ThreadPoolExecutor

# 还是用你已有的fetch_article函数
def fetch_article(url):
    title = f"从{url}获取的标题"
    content = f"从{url}获取的内容"
    return (title, content)

def batch_fetch(url_list):
    # 创建线程池，max_workers设置并发数（建议20-50，别太大，避免被反爬或占满资源）
    with ThreadPoolExecutor(max_workers=30) as executor:
        # map会自动把URL分配给线程，返回的结果顺序和url_list完全一致
        article_list = list(executor.map(fetch_article, url_list))
    
    return article_list

# 调用示例
url_list = ["https://example.com/1", "https://example.com/2", ...]
all_articles = batch_fetch(url_list)

进阶版（实时处理结果+异常捕获） #

如果想实时拿到每个完成的任务结果，或者需要单独处理每个URL的异常，用submit+as_completed：

from concurrent.futures import ThreadPoolExecutor, as_completed

def batch_fetch(url_list):
    article_list = []
    with ThreadPoolExecutor(max_workers=30) as executor:
        # 提交所有任务，把future对象和对应的URL绑定
        future_to_url = {executor.submit(fetch_article, url): url for url in url_list}
        
        # 遍历完成的任务，不管顺序
        for future in as_completed(future_to_url):
            url = future_to_url[future]
            try:
                article_data = future.result()
                article_list.append(article_data)
                print(f"已完成URL: {url}")
            except Exception as e:
                print(f"处理URL {url}出错: {str(e)}")
    
    return article_list

这个版本的优势是可以实时监控任务进度，而且某个URL处理失败不会影响其他任务。

关键注意事项 #

1. 并发数别设太大：建议20-50之间，太多线程会导致CPU/网络资源耗尽，还容易被目标网站识别为爬虫封禁IP。
2. 必须加异常处理：网络请求很容易出错（超时、404、500等），一定要在fetch_article里或者线程任务里捕获异常，避免整个程序崩溃。
3. 反爬措施：如果目标网站有反爬，记得在fetch_article里加随机延迟（time.sleep(random.uniform(0.5, 2))），或者使用代理IP池。
4. 线程安全：尽量不要让多个线程直接修改同一个全局变量，用队列或者线程池返回结果的方式更稳妥。

内容的提问来源于stack exchange，提问作者Anna Huang