You need to enable JavaScript to run this app. 使用Selenium爬取含8个下拉框页面的指定href时定位失效解决
优惠活动
大模型
产品
解决方案
定价
更多

使用Selenium爬取含8个下拉框页面的指定href时定位失效解决

定位失效的核心原因
  • 规则错配:find_elements_by_partial_link_text 的匹配对象是a标签的页面可见显示文本,而非href属性本身。你传入的/MSA/Public/Events是URL路径片段,并非链接上展示给用户看的文字,自然无法匹配到任何元素。
  • 前置交互缺失:页面上的8个下拉框默认处于折叠状态,内部嵌套的链接默认未渲染为可访问的DOM节点,即便定位规则正确,不先展开下拉也无法抓取到目标元素。
  • 接口版本过时:当前Selenium4版本已完全移除find_elements_by_xxx系列老旧API,旧语法运行时会直接抛出异常。
可正常运行的修复实现

直接采用CSS选择器匹配href属性的方案,绕开部分链接文本的匹配限制,提前展开所有折叠容器即可完成抓取:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()
productlink = []
try:
    driver.get('https://www.aan.com/MSA/Public/Events/Index/34')
    # 等待页面基础结构加载完成
    WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.TAG_NAME, "body")))
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(1)

    # 展开所有折叠的下拉/手风琴容器
    expand_triggers = driver.find_elements(By.CSS_SELECTOR, ".dropdown-toggle, .accordion-button, [data-toggle='collapse']")
    for trigger in expand_triggers:
        driver.execute_script("arguments[0].click();", trigger)
        time.sleep(0.3)

    # 直接匹配所有href属性包含目标路径的a标签
    target_anchors = driver.find_elements(By.CSS_SELECTOR, 'a[href*="/MSA/Public/Events"]')
    for link in target_anchors:
        href = link.get_attribute("href")
        if href and href not in productlink:
            productlink.append(href)
            print(href)
finally:
    time.sleep(2)
    driver.quit()
方案优势
  • 匹配逻辑完全贴合特征:通过a[href*="片段"]的CSS选择器语法,直接对a标签的href属性做模糊匹配,不需要依赖页面上的可见文本内容,和你观察到的“目标链接有相似路径特征”的判断完全匹配。
  • 解决隐藏元素定位问题:提前触发所有下拉框的展开动作,让内部嵌套的链接渲染到可被定位的DOM树中。
  • 内置去重逻辑:避免多容器展开后重复抓取同一个链接的问题,输出的URL无冗余。

内容的提问来源于stack exchange,提问作者Void S

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 06:06:03