使用Selenium爬取含8个下拉框页面的指定href时定位失效解决
定位失效的核心原因
- 规则错配:
find_elements_by_partial_link_text的匹配对象是a标签的页面可见显示文本,而非href属性本身。你传入的/MSA/Public/Events是URL路径片段,并非链接上展示给用户看的文字,自然无法匹配到任何元素。 - 前置交互缺失:页面上的8个下拉框默认处于折叠状态,内部嵌套的链接默认未渲染为可访问的DOM节点,即便定位规则正确,不先展开下拉也无法抓取到目标元素。
- 接口版本过时:当前Selenium4版本已完全移除
find_elements_by_xxx系列老旧API,旧语法运行时会直接抛出异常。
可正常运行的修复实现
直接采用CSS选择器匹配href属性的方案,绕开部分链接文本的匹配限制,提前展开所有折叠容器即可完成抓取:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time driver = webdriver.Chrome() productlink = [] try: driver.get('https://www.aan.com/MSA/Public/Events/Index/34') # 等待页面基础结构加载完成 WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.TAG_NAME, "body"))) driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(1) # 展开所有折叠的下拉/手风琴容器 expand_triggers = driver.find_elements(By.CSS_SELECTOR, ".dropdown-toggle, .accordion-button, [data-toggle='collapse']") for trigger in expand_triggers: driver.execute_script("arguments[0].click();", trigger) time.sleep(0.3) # 直接匹配所有href属性包含目标路径的a标签 target_anchors = driver.find_elements(By.CSS_SELECTOR, 'a[href*="/MSA/Public/Events"]') for link in target_anchors: href = link.get_attribute("href") if href and href not in productlink: productlink.append(href) print(href) finally: time.sleep(2) driver.quit()
方案优势
- 匹配逻辑完全贴合特征:通过
a[href*="片段"]的CSS选择器语法,直接对a标签的href属性做模糊匹配,不需要依赖页面上的可见文本内容,和你观察到的“目标链接有相似路径特征”的判断完全匹配。 - 解决隐藏元素定位问题:提前触发所有下拉框的展开动作,让内部嵌套的链接渲染到可被定位的DOM树中。
- 内置去重逻辑:避免多容器展开后重复抓取同一个链接的问题,输出的URL无冗余。
内容的提问来源于stack exchange,提问作者Void S
相关产品推荐
相关产品推荐

