使用BeautifulSoup或Selenium爬取站点时无法定位目标链接怎么办
爬虫获取factsheet链接解决方案
问题核心原因
- 目标站点的月度factsheet表格内容是客户端JS异步请求渲染的,静态HTML源码中不存在对应节点,因此直接用BeautifulSoup请求初始页面无法获取内容
- 当前Selenium代码存在3个核心问题:① 未设置元素加载等待,页面还未渲染完成就执行查找逻辑;② 旧版无头模式大概率被站点反爬机制识别,返回无数据的空白页面;③ 绝对路径XPath稳定性极差,页面结构稍有调整就会定位失败
解决方案
方案1:优化Selenium代码
修改后的代码如下:
from selenium.webdriver.common.by import By from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options = Options() # 使用新版无头模式,降低反爬识别概率 options.add_argument("--headless=new") # 伪装正常浏览器的用户代理 options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36") driver = webdriver.Chrome(options=options) driver.get('https://www.biotechgt.com/performance/monthly-factsheets') # 显式等待最多10秒,直到表格内的链接元素加载完成 wait = WebDriverWait(driver, 10) # 用相对XPath定位,匹配表格中所有factsheet链接,排序第一的即为最新版本 target_links = wait.until(EC.presence_of_all_elements_located( (By.XPATH, '//table//tr/td/a[contains(@href, "factsheet")]') )) if target_links: print("最新factsheet链接:", target_links[0].get_attribute('href')) driver.quit()
方案2:直接请求异步接口(更高效)
打开浏览器F12控制台,切换到「网络」选项卡,筛选XHR/Fetch类型请求,刷新页面后即可找到站点拉取factsheet列表的后台接口。直接用requests请求该接口,返回的JSON数据中可直接提取所有链接,无需启动浏览器,性能远高于Selenium。如果想搭配BeautifulSoup使用也可直接解析接口返回数据,效率更高。
内容的提问来源于stack exchange,提问作者Sjamsing
相关产品推荐
相关产品推荐

