You need to enable JavaScript to run this app. 使用BeautifulSoup爬取网页表格无法获取<tbody>内<tr>数据如何解决
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup爬取网页表格无法获取<tbody>内<tr>数据如何解决

问题原因

该页面的表格采用动态渲染方案,使用dynatable组件实现分页加载功能,表格行数据是页面初始加载完成后,通过额外的AJAX请求拉取JSON数据后动态插入到DOM中的。requests库只能拿到初始静态HTML源码,此时<tbody>标签还没有被填充数据,因此解析不到对应的表格行内容。

解决方案1:直接调用异步数据接口(推荐)

无需解析HTML,直接抓取页面请求的异步数据接口即可拿到结构化的JSON数据,包含PDF文件的下载地址,爬取效率更高:

import requests
import time

# 异步数据接口地址
api_url = "https://www.parliament.gov.za/dynatable-ajax/hansard"
# 请求参数:可根据需求调整limit(每页返回条数)、offset(分页偏移量)、排序规则
params = {
    "sorts[date]": "-1",
    "queries[search]": "",
    "offset": 0,
    "limit": 100
}
# 模拟浏览器请求头,避免被反爬拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://www.parliament.gov.za/hansard?sorts[date]=-1"
}

# 拉取表格数据
resp = requests.get(api_url, params=params, headers=headers)
data = resp.json()

# 遍历记录下载PDF
for item in data["records"]:
    pdf_name = f"{item['name'].replace('/', '_')}.pdf"
    pdf_url = item["file_location"]
    # 下载PDF文件
    pdf_resp = requests.get(pdf_url, headers=headers)
    with open(pdf_name, "wb") as f:
        f.write(pdf_resp.content)
    print(f"已完成下载:{pdf_name}")
    # 增加延时避免请求过快被限制
    time.sleep(1)

如需翻页拉取更多数据,只需修改offset参数即可,比如第二页对应offset为20,第三页对应40,以此类推。

解决方案2:使用Selenium模拟浏览器渲染

如果遇到接口参数加密无法直接调用的场景,可以使用Selenium模拟浏览器运行,等待页面动态渲染完成后再解析源码:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs

url = 'https://www.parliament.gov.za/hansard?sorts[date]=-1'

# 初始化Chrome浏览器,需提前安装对应版本的ChromeDriver并配置环境变量
driver = webdriver.Chrome()
driver.get(url)

# 等待表格行渲染完成,最长等待10秒
WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, "#papers-table tbody tr"))
)

# 获取渲染完成的完整页面源码
soup = bs(driver.page_source, 'html.parser')
table_rows = soup.select("#papers-table tbody tr")
print(f"共获取到{len(table_rows)}条表格数据")

# 后续可自行解析每行数据提取PDF下载地址
driver.quit()

注意事项

  • 批量下载PDF时建议控制请求频率,避免给站点服务器造成过大压力
  • 若请求被拦截,可尝试调整请求头的User-Agent或者添加代理IP

内容的提问来源于stack exchange,提问作者Grant

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.19 20:36:04