如何使用多进程并行化带不同URL参数的自定义fetch函数？

刚好我之前也处理过类似的需求，咱们可以用Python的multiprocessing模块来实现并行化，核心思路是用进程池批量处理URL，同时用进程安全的队列和集合管理待处理任务与已访问URL，避免重复操作。

完整实现代码 #

import requests
from multiprocessing import Pool, Manager

def fetch(url):
    """获取单个URL的奖励值和子URL列表"""
    try:
        # 发送请求并解析JSON，添加超时避免请求卡住
        json_data = requests.get(url, timeout=10).json()
        # 假设奖励字段为'reward'，可根据实际返回调整
        current_reward = json_data.get('reward', 0)
        # 子URL列表（按你说明无重复）
        child_urls = json_data.get('children', [])
        return current_reward, child_urls
    except Exception as e:
        # 捕获异常，避免单个URL出错中断全局流程
        print(f"处理URL {url} 时遇到问题: {str(e)}")
        return 0, []

def calculate_total_reward(start_url):
    """并行遍历整个URL树，计算总奖励"""
    with Manager() as manager:
        # 进程安全集合：记录已处理URL，防止重复
        visited_urls = manager.set()
        # 进程安全队列：存放待处理URL
        pending_urls = manager.Queue()
        
        # 初始化：放入起始URL
        pending_urls.put(start_url)
        visited_urls.add(start_url)
        
        total_reward = 0
        
        # 创建进程池，processes参数可根据网络/网站限制调整
        # 网络请求属于IO密集型任务，可设置比CPU核心数多的进程数
        with Pool(processes=6) as pool:
            while not pending_urls.empty():
                # 一次性取出当前队列所有待处理URL，批量提交提升效率
                batch_urls = []
                while not pending_urls.empty():
                    batch_urls.append(pending_urls.get())
                
                # 并行处理这批URL，pool.map自动分配任务到不同进程
                results = pool.map(fetch, batch_urls)
                
                # 遍历结果，累加奖励，同时将未访问的子URL加入队列
                for reward, children in results:
                    total_reward += reward
                    for child in children:
                        if child not in visited_urls:
                            visited_urls.add(child)
                            pending_urls.put(child)
        
        print(f"遍历完成，总奖励值为: {total_reward}")
        return total_reward

if __name__ == "__main__":
    # 替换为你的起始URL
    START_URL = "https://example.com/start"
    calculate_total_reward(START_URL)

关键细节说明 #

• 进程安全数据结构：普通列表/集合在多进程下会有资源竞争问题，Manager()创建的set和Queue是跨进程安全的，能保证多个进程不会重复处理同一个URL。
• 进程池优势：用Pool比手动创建Process更省心，它会自动管理进程的创建、销毁和任务分配，避免资源浪费。
• 批量处理优化：每次从队列取出所有待处理URL批量提交，减少进程间通信开销，比逐个提交效率更高。
• 容错机制：fetch函数捕获了所有异常，就算某个URL请求失败，整个程序也能继续运行，不会直接崩溃。

一些实用优化建议 #

• 调整processes参数：如果网络带宽充足、目标网站无反爬限制，可适当增大数值（比如8-10）；若网站有并发限制，就调小至2-4。
• 添加请求头：给requests.get加上headers参数模拟浏览器请求，降低被封禁概率。
• 进度监控：如果URL树规模较大，可在循环中打印当前处理的URL数量，方便追踪进度。

内容的提问来源于stack exchange，提问作者ni5arg