如何结合requests与bs4发起多请求 简化冗余重复请求代码
冗余分页请求代码的简洁重构方案
梳理URL动态规律
逐行对比硬编码的请求链接,可以提炼出固定的分页规则,无需逐行写死每个URL:
- 全链接的固定公共前缀:
https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews- - 全链接的固定公共后缀:
Hotel_Alessandra-Florence_Tuscany.html - 动态变化规则:评论偏移量按固定步长5递增;偏移量为0(第一页)时,链接不带
or{偏移值}-的片段;偏移量大于0时,在公共前缀和后缀之间插入or{偏移值}-,末尾拼接锚点#REVIEWS
基础批量实现
按照上述规则用循环生成URL,统一发起请求、收集响应文本,完全替代逐行硬编码的冗余写法:
import requests # 可灵活调整的配置项 base_url_prefix = "https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews-" base_url_suffix = "Hotel_Alessandra-Florence_Tuscany.html" offset_step = 5 # 分页偏移步长 max_offset = 30 # 对应原代码中最大的分页偏移量 # 统一收集所有页面的响应文本 all_page_content = [] for offset in range(0, max_offset + offset_step, offset_step): # 按规则拼接目标URL if offset == 0: target_url = f"{base_url_prefix}{base_url_suffix}" else: target_url = f"{base_url_prefix}or{offset}-{base_url_suffix}#REVIEWS" response = requests.get(target_url) all_page_content.append(response.text)
这种实现的核心优势:
- 可扩展性极强:调整爬取的分页范围时,只需修改
max_offset的值,不需要逐行复制、修改链接,避免手滑打错偏移量导致请求失败 - 维护成本极低:所有请求逻辑统一,后续添加超时设置、请求头、失败重试逻辑时,只需修改一处代码,无需逐个请求对象调整
适配BS4网页解析的优化
结合后续BS4提取评论的流程,可以在循环内直接完成BS4对象初始化,减少后续重复的解析转换步骤:
import requests from bs4 import BeautifulSoup base_url_prefix = "https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews-" base_url_suffix = "Hotel_Alessandra-Florence_Tuscany.html" offset_step = 5 max_offset = 30 # 配置基础请求头,降低被网站反爬拦截的概率 request_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" } # 收集所有已初始化的BS4页面对象,后续可直接定位提取评论元素 all_parsed_soup = [] for offset in range(0, max_offset + offset_step, offset_step): if offset == 0: target_url = f"{base_url_prefix}{base_url_suffix}" else: target_url = f"{base_url_prefix}or{offset}-{base_url_suffix}#REVIEWS" response = requests.get(target_url, headers=request_headers, timeout=10) page_soup = BeautifulSoup(response.text, "html.parser") all_parsed_soup.append(page_soup)
内容的提问来源于stack exchange,提问作者Adrian Soare
相关产品推荐
相关产品推荐

