Python BeautifulSoup爬虫如何模拟JS点击获取静态URL站点全部分页数据
爬取动态分页数据的实现方案
你遇到的是典型的前端动态渲染分页场景,分页触发的filter_page()函数会发送异步请求加载数据,页面整体URL不会变化,以下是两种可直接落地的实现方式:
方案1:Selenium模拟点击(入门友好,无需分析接口)
该方案直接模拟用户操作浏览器的行为,自动执行JS点击逻辑,适配你当前的技术基础。
前置准备
安装依赖库:
pip install selenium webdriver-manager beautifulsoup4
完整实现代码
import time from bs4 import BeautifulSoup as bs from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by import By # 初始化Chrome浏览器 driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) # 打开目标页面 driver.get("http://www.o-review.com/database_filter_model.php?table_name=glasses&tag=") # 等待页面初始加载 time.sleep(2) all_frames_list = [] # 循环抓取42页数据 for page_num in range(42): # 解析当前页源码 soup = bs(driver.page_source, 'html.parser') # 提取当前页镜架型号(复用你原有逻辑) for find_frames in soup.find_all('a', class_ = 'round5 grid_model'): all_models = find_frames.text.strip() all_frames_list.append(all_models) print(all_models) # 最后一页不需要点击下一页 if page_num < 41: # 定位下一页按钮,点击触发分页 next_btn = driver.find_element(By.CSS_SELECTOR, 'div.filter_nav_button.round5[onclick^="filter_page"]') next_btn.click() # 等待新页数据加载完成 time.sleep(2) # 关闭浏览器 driver.quit() # 所有数据都存在all_frames_list里,可自行导出保存 print(f"总抓取型号数量:{len(all_frames_list)}")
说明
- 控制请求频率:可根据实际加载速度调整
time.sleep的时长,避免请求过快被站点封禁 - 若出现元素定位失败,可调整选择器,比如直接匹配包含下一页箭头图标的div元素
方案2:抓AJAX接口硬编码(性能更高,无需启动浏览器)
该方案不需要启动浏览器,直接请求后端数据接口,效率更高,操作步骤如下:
- 打开浏览器F12开发者工具,切换到「网络」面板,筛选「Fetch/XHR」
- 点击页面上的分页按钮,观察面板中新增的请求,找到携带页码参数的接口请求
- 复制该请求的URL、请求方式、请求头、参数,直接用
requests循环请求即可
示例逻辑:
import requests import time from bs4 import BeautifulSoup as bs all_frames_list = [] headers = { # 从浏览器请求中复制User-Agent等头信息 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } for page in range(1, 43): # 替换为你抓包得到的实际参数 data = { "page": page, "table_name": "glasses", "tag": "" } # 替换为实际接口地址,请求方式根据抓包结果选GET/POST response = requests.post("http://www.o-review.com/实际接口地址", headers=headers, data=data) soup = bs(response.text, 'html.parser') # 复用原有提取逻辑 for find_frames in soup.find_all('a', class_ = 'round5 grid_model'): all_models = find_frames.text.strip() all_frames_list.append(all_models) print(all_models) time.sleep(1)
内容的提问来源于stack exchange,提问作者The_Bandit
相关产品推荐
相关产品推荐

