使用BeautifulSoup抓取网页时无法定位开发者工具中可见的table元素
爬取维多利亚州新冠暴露点表格数据解决方案
问题根因
目标页面https://www.coronavirus.vic.gov.au/exposure-sites的表格数据由JavaScript动态渲染生成:你在浏览器开发者工具中看到的元素是页面加载完成后,JS异步请求后端数据再插入到DOM中的。直接用requests请求拿到的是未执行JS的初始静态HTML,不存在目标
实现方案
方案1:Selenium模拟浏览器(适配动态渲染,代码易调试)
该方案通过模拟真实浏览器加载页面,等待JS执行完成后再提取元素,可直接匹配你在开发者工具中看到的DOM结构。
依赖安装
pip install selenium webdriver-manager pandas
完整代码
import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from bs4 import BeautifulSoup import time def tableDataText(table): """解析表格数据的原有逻辑保持不变""" def rowgetDataText(tr, coltag='td'): return [td.get_text(strip=True) for td in tr.find_all(coltag)] rows = [] trs = table.find_all('tr') headerow = rowgetDataText(trs[0], 'th') if headerow: rows.append(headerow) trs = trs[1:] for tr in trs: rows.append(rowgetDataText(tr, 'td')) return rows # 初始化浏览器 driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) wait = WebDriverWait(driver, 15) all_data = [] header_saved = False try: # 遍历18页 for page in range(1, 19): url = f"https://www.coronavirus.vic.gov.au/exposure-sites?page={page}" driver.get(url) # 等待表格加载完成 table_elem = wait.until( EC.presence_of_element_located((By.CSS_SELECTOR, "table.rpl-row.rpl-search-results-layout__main.rpl-row--gutter")) ) # 解析表格 soup = BeautifulSoup(driver.page_source, "html5lib") htmltable = soup.find('table', {'class': "rpl-row rpl-search-results-layout__main rpl-row--gutter"}) page_data = tableDataText(htmltable) if not header_saved: # 第一页保存表头 all_data.extend(page_data) header_saved = True else: # 后续页面跳过表头 all_data.extend(page_data[1:]) time.sleep(2) # 避免请求过快被限制 # 合并为完整DataFrame df = pd.DataFrame(all_data[1:], columns=all_data[0]) print(f"共获取{len(df)}条数据") # 可按需导出为csv:df.to_csv("vic_exposure_sites.csv", index=False, encoding="utf-8-sig") finally: driver.quit()
方案2:直接调用后端API(效率更高,无需启动浏览器)
你可以通过浏览器开发者工具的「网络」面板,筛选Fetch/XHR类型的请求,找到加载暴露点数据的后端接口。直接构造请求参数翻页拉取JSON格式数据,解析后直接拼接即可,性能远高于模拟浏览器方案。
内容的提问来源于stack exchange,提问作者HarriS
相关产品推荐
相关产品推荐

