使用BeautifulSoup等工具无法爬取嵌套表格 求无Selenium解决方案

方案1：直接调用后端数据接口（最高效，无需渲染） #

该站点表格内容为客户端JS异步请求后端接口后渲染生成，不会嵌入初始返回的HTML源码中，直接调用对应数据接口是最优解：

1. 打开浏览器F12开发者工具，切换到「网络」面板，筛选「Fetch/XHR」分类，刷新页面后找到返回表格内容的接口请求
2. 复制接口地址、请求头参数，直接请求该接口即可拿到结构化的JSON格式数据，无需解析HTML
   代码示例：

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://www.portaltransparencia.gov.br/",
    "Accept": "application/json, text/javascript, */*; q=0.01"
}
# 用Session保持cookie一致性
session = requests.Session()
# 先请求原页面拿到必要的cookie和校验参数
session.get("https://www.portaltransparencia.gov.br/licitacoes/490941800?ordenarPor=dataEmissao&direcao=asc", headers=headers, verify=False)
# 替换为你抓到的实际表格数据接口地址
api_url = "https://www.portaltransparencia.gov.br/api/de-para/licitacoes/490941800"
resp = session.get(api_url, headers=headers, verify=False)
table_data = resp.json()
print(table_data)

方案2：优化requests_html渲染配置 #

你之前的render逻辑没有预留异步请求加载时间，元素还没插入DOM就执行查找自然返回空，调整渲染参数即可：

from requests_html import HTMLSession

url = "https://www.portaltransparencia.gov.br/licitacoes/490941800?ordenarPor=dataEmissao&direcao=asc"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

with HTMLSession() as session:
    r = session.get(url=url, headers=headers, verify=False)
    # 增加sleep参数预留2秒加载时间，拉长timeout避免超时，按需调整时长
    r.html.render(sleep=2, timeout=20)
    # 增加first=True只取第一个匹配元素，否则返回列表
    div = r.html.find('div.collapse-3', first=True)
    print(div)

如果表格是滚动触发加载的，还可以在render方法中增加scrolldown=N参数，自动滚动N次触发所有数据加载。

方案3：轻量无头渲染方案（无Selenium依赖） #

如果以上方案都不生效，可以使用pyppeteer实现无头Chrome渲染，比Selenium更轻量，无需单独配置浏览器驱动，直接调用API即可控制浏览器加载页面提取内容。

内容的提问来源于stack exchange，提问作者Gabs