如何用Python Selenium Firefox通过CSS选择器循环点击网页链接
解决循环点击网站所有目标链接的问题
你的核心问题是缺少完整的循环逻辑,且未处理页面跳转后DOM元素失效的问题,以下是两种可行的解决方案:
方案一:循环定位并点击(适配页面跳转场景)
模拟人工点击流程,每次点击详情页后返回列表页,重新定位下一个元素:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get("https://www.hatvp.fr/le-repertoire/liste-des-entites-enregistrees/") def wait_for_element_to_be_clickable(selector): return WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.CSS_SELECTOR, selector))) # 获取目标元素总数,确定循环次数 total_elements = len(driver.find_elements(By.CSS_SELECTOR, "a.orga-card-row")) for i in range(1, total_elements + 1): # 每次循环重新定位元素,避免页面跳转后DOM失效 element_selector = f"a.orga-card-row:nth-child({i})" target_element = wait_for_element_to_be_clickable(element_selector) target_element.click() # 在此添加详情页需要执行的操作 # 操作完成后返回列表页并等待加载 driver.back() WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CSS_SELECTOR, "a.orga-card-row"))) driver.quit()
方案二:先提取所有链接再逐个访问(更稳定)
提前提取所有目标链接的地址,再逐个访问,彻底避免DOM元素失效问题:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get("https://www.hatvp.fr/le-repertoire/liste-des-entites-enregistrees/") # 等待所有目标元素加载完成 WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "a.orga-card-row"))) # 提取所有链接的href属性 links = [element.get_attribute("href") for element in driver.find_elements(By.CSS_SELECTOR, "a.orga-card-row")] for link in links: driver.get(link) # 在此添加详情页需要执行的操作 driver.quit()
关键说明
- 你之前的代码仅执行了一次
i=1的点击,无循环逻辑,需用for/while遍历所有元素 - 页面跳转后原列表页的DOM元素会失效,因此要么每次循环重新定位,要么提前提取所有链接
- 使用f-string(
f"a.orga-card-row:nth-child({i})")比字符串拼接更简洁易读
内容的提问来源于stack exchange,提问作者scraper34863
相关产品推荐
相关产品推荐

