You need to enable JavaScript to run this app. 如何结合requests与bs4发起多请求 简化冗余重复请求代码
优惠活动
大模型
产品
解决方案
定价
更多

如何结合requests与bs4发起多请求 简化冗余重复请求代码

冗余分页请求代码的简洁重构方案

梳理URL动态规律

逐行对比硬编码的请求链接,可以提炼出固定的分页规则,无需逐行写死每个URL:

  • 全链接的固定公共前缀:https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews-
  • 全链接的固定公共后缀:Hotel_Alessandra-Florence_Tuscany.html
  • 动态变化规则:评论偏移量按固定步长5递增;偏移量为0(第一页)时,链接不带or{偏移值}-的片段;偏移量大于0时,在公共前缀和后缀之间插入or{偏移值}-,末尾拼接锚点#REVIEWS

基础批量实现

按照上述规则用循环生成URL,统一发起请求、收集响应文本,完全替代逐行硬编码的冗余写法:

import requests

# 可灵活调整的配置项
base_url_prefix = "https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews-"
base_url_suffix = "Hotel_Alessandra-Florence_Tuscany.html"
offset_step = 5  # 分页偏移步长
max_offset = 30   # 对应原代码中最大的分页偏移量

# 统一收集所有页面的响应文本
all_page_content = []
for offset in range(0, max_offset + offset_step, offset_step):
    # 按规则拼接目标URL
    if offset == 0:
        target_url = f"{base_url_prefix}{base_url_suffix}"
    else:
        target_url = f"{base_url_prefix}or{offset}-{base_url_suffix}#REVIEWS"
    
    response = requests.get(target_url)
    all_page_content.append(response.text)

这种实现的核心优势:

  • 可扩展性极强:调整爬取的分页范围时,只需修改max_offset的值,不需要逐行复制、修改链接,避免手滑打错偏移量导致请求失败
  • 维护成本极低:所有请求逻辑统一,后续添加超时设置、请求头、失败重试逻辑时,只需修改一处代码,无需逐个请求对象调整

适配BS4网页解析的优化

结合后续BS4提取评论的流程,可以在循环内直接完成BS4对象初始化,减少后续重复的解析转换步骤:

import requests
from bs4 import BeautifulSoup

base_url_prefix = "https://www.tripadvisor.com/Hotel_Review-g187895-d235993-Reviews-"
base_url_suffix = "Hotel_Alessandra-Florence_Tuscany.html"
offset_step = 5
max_offset = 30
# 配置基础请求头,降低被网站反爬拦截的概率
request_headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

# 收集所有已初始化的BS4页面对象,后续可直接定位提取评论元素
all_parsed_soup = []
for offset in range(0, max_offset + offset_step, offset_step):
    if offset == 0:
        target_url = f"{base_url_prefix}{base_url_suffix}"
    else:
        target_url = f"{base_url_prefix}or{offset}-{base_url_suffix}#REVIEWS"
    
    response = requests.get(target_url, headers=request_headers, timeout=10)
    page_soup = BeautifulSoup(response.text, "html.parser")
    all_parsed_soup.append(page_soup)

内容的提问来源于stack exchange,提问作者Adrian Soare

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 04:15:02