You need to enable JavaScript to run this app. 使用BeautifulSoup抓取网页时无法定位开发者工具中可见的table元素
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup抓取网页时无法定位开发者工具中可见的table元素

爬取维多利亚州新冠暴露点表格数据解决方案

问题根因

目标页面https://www.coronavirus.vic.gov.au/exposure-sites的表格数据由JavaScript动态渲染生成:你在浏览器开发者工具中看到的元素是页面加载完成后,JS异步请求后端数据再插入到DOM中的。直接用requests请求拿到的是未执行JS的初始静态HTML,不存在目标

实现方案

方案1:Selenium模拟浏览器(适配动态渲染,代码易调试)

该方案通过模拟真实浏览器加载页面,等待JS执行完成后再提取元素,可直接匹配你在开发者工具中看到的DOM结构。

依赖安装

pip install selenium webdriver-manager pandas

完整代码

import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

def tableDataText(table):    
    """解析表格数据的原有逻辑保持不变"""
    def rowgetDataText(tr, coltag='td'):        
        return [td.get_text(strip=True) for td in tr.find_all(coltag)]  
    rows = []
    trs = table.find_all('tr')
    headerow = rowgetDataText(trs[0], 'th')
    if headerow: 
        rows.append(headerow)
        trs = trs[1:]
    for tr in trs: 
        rows.append(rowgetDataText(tr, 'td'))        
    return rows

# 初始化浏览器
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
wait = WebDriverWait(driver, 15)
all_data = []
header_saved = False

try:
    # 遍历18页
    for page in range(1, 19):
        url = f"https://www.coronavirus.vic.gov.au/exposure-sites?page={page}"
        driver.get(url)
        # 等待表格加载完成
        table_elem = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR, "table.rpl-row.rpl-search-results-layout__main.rpl-row--gutter"))
        )
        # 解析表格
        soup = BeautifulSoup(driver.page_source, "html5lib")
        htmltable = soup.find('table', {'class': "rpl-row rpl-search-results-layout__main rpl-row--gutter"})
        page_data = tableDataText(htmltable)
        if not header_saved:
            # 第一页保存表头
            all_data.extend(page_data)
            header_saved = True
        else:
            # 后续页面跳过表头
            all_data.extend(page_data[1:])
        time.sleep(2) # 避免请求过快被限制
    
    # 合并为完整DataFrame
    df = pd.DataFrame(all_data[1:], columns=all_data[0])
    print(f"共获取{len(df)}条数据")
    # 可按需导出为csv:df.to_csv("vic_exposure_sites.csv", index=False, encoding="utf-8-sig")
finally:
    driver.quit()

方案2:直接调用后端API(效率更高,无需启动浏览器)

你可以通过浏览器开发者工具的「网络」面板,筛选Fetch/XHR类型的请求,找到加载暴露点数据的后端接口。直接构造请求参数翻页拉取JSON格式数据,解析后直接拼接即可,性能远高于模拟浏览器方案。


内容的提问来源于stack exchange,提问作者HarriS

节点,因此BeautifulSoup定位失败。

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.08 01:09:02