You need to enable JavaScript to run this app. Python BeautifulSoup爬虫如何模拟JS点击获取静态URL站点全部分页数据
优惠活动
大模型
产品
解决方案
定价
更多

Python BeautifulSoup爬虫如何模拟JS点击获取静态URL站点全部分页数据

爬取动态分页数据的实现方案

你遇到的是典型的前端动态渲染分页场景,分页触发的filter_page()函数会发送异步请求加载数据,页面整体URL不会变化,以下是两种可直接落地的实现方式:

方案1:Selenium模拟点击(入门友好,无需分析接口)

该方案直接模拟用户操作浏览器的行为,自动执行JS点击逻辑,适配你当前的技术基础。

前置准备

安装依赖库:

pip install selenium webdriver-manager beautifulsoup4

完整实现代码

import time
from bs4 import BeautifulSoup as bs
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By

# 初始化Chrome浏览器
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
# 打开目标页面
driver.get("http://www.o-review.com/database_filter_model.php?table_name=glasses&tag=")
# 等待页面初始加载
time.sleep(2)

all_frames_list = []

# 循环抓取42页数据
for page_num in range(42):
    # 解析当前页源码
    soup = bs(driver.page_source, 'html.parser')
    
    # 提取当前页镜架型号(复用你原有逻辑)
    for find_frames in soup.find_all('a', class_ = 'round5 grid_model'):
        all_models = find_frames.text.strip()
        all_frames_list.append(all_models)
        print(all_models)
    
    # 最后一页不需要点击下一页
    if page_num < 41:
        # 定位下一页按钮,点击触发分页
        next_btn = driver.find_element(By.CSS_SELECTOR, 'div.filter_nav_button.round5[onclick^="filter_page"]')
        next_btn.click()
        # 等待新页数据加载完成
        time.sleep(2)

# 关闭浏览器
driver.quit()

# 所有数据都存在all_frames_list里,可自行导出保存
print(f"总抓取型号数量:{len(all_frames_list)}")

说明

  • 控制请求频率:可根据实际加载速度调整time.sleep的时长,避免请求过快被站点封禁
  • 若出现元素定位失败,可调整选择器,比如直接匹配包含下一页箭头图标的div元素

方案2:抓AJAX接口硬编码(性能更高,无需启动浏览器)

该方案不需要启动浏览器,直接请求后端数据接口,效率更高,操作步骤如下:

  1. 打开浏览器F12开发者工具,切换到「网络」面板,筛选「Fetch/XHR」
  2. 点击页面上的分页按钮,观察面板中新增的请求,找到携带页码参数的接口请求
  3. 复制该请求的URL、请求方式、请求头、参数,直接用requests循环请求即可
    示例逻辑:
import requests
import time
from bs4 import BeautifulSoup as bs

all_frames_list = []
headers = {
    # 从浏览器请求中复制User-Agent等头信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

for page in range(1, 43):
    # 替换为你抓包得到的实际参数
    data = {
        "page": page,
        "table_name": "glasses",
        "tag": ""
    }
    # 替换为实际接口地址,请求方式根据抓包结果选GET/POST
    response = requests.post("http://www.o-review.com/实际接口地址", headers=headers, data=data)
    soup = bs(response.text, 'html.parser')
    
    # 复用原有提取逻辑
    for find_frames in soup.find_all('a', class_ = 'round5 grid_model'):
        all_models = find_frames.text.strip()
        all_frames_list.append(all_models)
        print(all_models)
    time.sleep(1)

内容的提问来源于stack exchange,提问作者The_Bandit

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 21:15:03