You need to enable JavaScript to run this app. 使用BeautifulSoup或Selenium爬取站点时无法定位目标链接怎么办
优惠活动
大模型
产品
解决方案
定价
更多

使用BeautifulSoup或Selenium爬取站点时无法定位目标链接怎么办

爬虫获取factsheet链接解决方案

问题核心原因

  • 目标站点的月度factsheet表格内容是客户端JS异步请求渲染的,静态HTML源码中不存在对应节点,因此直接用BeautifulSoup请求初始页面无法获取内容
  • 当前Selenium代码存在3个核心问题:① 未设置元素加载等待,页面还未渲染完成就执行查找逻辑;② 旧版无头模式大概率被站点反爬机制识别,返回无数据的空白页面;③ 绝对路径XPath稳定性极差,页面结构稍有调整就会定位失败

解决方案

方案1:优化Selenium代码

修改后的代码如下:

from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = Options()
# 使用新版无头模式,降低反爬识别概率
options.add_argument("--headless=new")
# 伪装正常浏览器的用户代理
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")

driver = webdriver.Chrome(options=options)
driver.get('https://www.biotechgt.com/performance/monthly-factsheets')

# 显式等待最多10秒,直到表格内的链接元素加载完成
wait = WebDriverWait(driver, 10)
# 用相对XPath定位,匹配表格中所有factsheet链接,排序第一的即为最新版本
target_links = wait.until(EC.presence_of_all_elements_located(
    (By.XPATH, '//table//tr/td/a[contains(@href, "factsheet")]')
))

if target_links:
    print("最新factsheet链接:", target_links[0].get_attribute('href'))

driver.quit()

方案2:直接请求异步接口(更高效)

打开浏览器F12控制台,切换到「网络」选项卡,筛选XHR/Fetch类型请求,刷新页面后即可找到站点拉取factsheet列表的后台接口。直接用requests请求该接口,返回的JSON数据中可直接提取所有链接,无需启动浏览器,性能远高于Selenium。如果想搭配BeautifulSoup使用也可直接解析接口返回数据,效率更高。

内容的提问来源于stack exchange,提问作者Sjamsing

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 04:12:03