使用BeautifulSoup爬取网页表格无法获取<tbody>内<tr>数据如何解决
问题原因
该页面的表格采用动态渲染方案,使用dynatable组件实现分页加载功能,表格行数据是页面初始加载完成后,通过额外的AJAX请求拉取JSON数据后动态插入到DOM中的。requests库只能拿到初始静态HTML源码,此时<tbody>标签还没有被填充数据,因此解析不到对应的表格行内容。
解决方案1:直接调用异步数据接口(推荐)
无需解析HTML,直接抓取页面请求的异步数据接口即可拿到结构化的JSON数据,包含PDF文件的下载地址,爬取效率更高:
import requests import time # 异步数据接口地址 api_url = "https://www.parliament.gov.za/dynatable-ajax/hansard" # 请求参数:可根据需求调整limit(每页返回条数)、offset(分页偏移量)、排序规则 params = { "sorts[date]": "-1", "queries[search]": "", "offset": 0, "limit": 100 } # 模拟浏览器请求头,避免被反爬拦截 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36", "Referer": "https://www.parliament.gov.za/hansard?sorts[date]=-1" } # 拉取表格数据 resp = requests.get(api_url, params=params, headers=headers) data = resp.json() # 遍历记录下载PDF for item in data["records"]: pdf_name = f"{item['name'].replace('/', '_')}.pdf" pdf_url = item["file_location"] # 下载PDF文件 pdf_resp = requests.get(pdf_url, headers=headers) with open(pdf_name, "wb") as f: f.write(pdf_resp.content) print(f"已完成下载:{pdf_name}") # 增加延时避免请求过快被限制 time.sleep(1)
如需翻页拉取更多数据,只需修改offset参数即可,比如第二页对应offset为20,第三页对应40,以此类推。
解决方案2:使用Selenium模拟浏览器渲染
如果遇到接口参数加密无法直接调用的场景,可以使用Selenium模拟浏览器运行,等待页面动态渲染完成后再解析源码:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from bs4 import BeautifulSoup as bs url = 'https://www.parliament.gov.za/hansard?sorts[date]=-1' # 初始化Chrome浏览器,需提前安装对应版本的ChromeDriver并配置环境变量 driver = webdriver.Chrome() driver.get(url) # 等待表格行渲染完成,最长等待10秒 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, "#papers-table tbody tr")) ) # 获取渲染完成的完整页面源码 soup = bs(driver.page_source, 'html.parser') table_rows = soup.select("#papers-table tbody tr") print(f"共获取到{len(table_rows)}条表格数据") # 后续可自行解析每行数据提取PDF下载地址 driver.quit()
注意事项
- 批量下载PDF时建议控制请求频率,避免给站点服务器造成过大压力
- 若请求被拦截,可尝试调整请求头的User-Agent或者添加代理IP
内容的提问来源于stack exchange,提问作者Grant
相关产品推荐
相关产品推荐

