使用Selenium爬取网站信息时触发find_element_by_css_selector报错原因问询

你贴出的是Selenium方法调用栈的上层执行记录，完整报错的末尾会标注具体的异常类型，90%以上的该类场景都是NoSuchElementException（未找到匹配元素）异常，常见触发原因和修复方案如下：

报错片段：

File "C:\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 802, in find_element_by_css_selector
return self.find_element(by=By.CSS_SELECTOR, value=css_selector)

常见触发原因 #

• CSS选择器书写错误：选择器的类名、ID、层级关系拼写错误，或者目标元素的属性是页面动态生成的，写死的选择器和实际渲染后的元素属性不匹配。
• 元素未完成加载就执行查找：爬虫代码执行速度远快于页面渲染速度，调用查找方法时目标元素还没有被插入到DOM树中。
• 目标元素处于iframe嵌套框架内：Selenium默认只会在当前顶层DOM中查找元素，如果目标元素被包裹在iframe/frame标签内，未先切换到对应框架就会查找失败。
• Selenium版本兼容问题：Selenium 4.0及以上版本已经正式废弃了find_element_by_css_selector这类直接调用的快捷方法，部分高版本已经移除了相关接口，直接调用就会触发异常。
• 元素状态异常：目标元素已经被页面动态逻辑删除，或者处于display:none等隐藏状态，也会导致查找失败。

对应修复方案 #

• 先在浏览器控制台执行document.querySelector('你写的CSS选择器')，验证选择器是否能匹配到目标元素，也可以打印driver.page_source核对当前页面源码的元素属性是否和预期一致。
• 替换固定时间等待的逻辑，使用Selenium自带的显式等待机制，确保元素加载完成后再执行查找：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  
  # 最长等待10秒，直到目标元素出现在DOM中
  target_ele = WebDriverWait(driver, 10).until(
      EC.presence_of_element_located((By.CSS_SELECTOR, "你的目标选择器"))
  )
  

• 排查页面是否存在iframe嵌套，如有需要先切换到对应框架再查找元素：

  # 支持通过iframe的索引、id、name或者元素对象切换
  driver.switch_to.frame("目标iframe的id")
  # 执行元素查找、操作逻辑
  # 操作完成后切回顶层DOM
  driver.switch_to.default_content()
  

• Selenium 4.0+版本统一使用标准写法，避免废弃接口的兼容问题：

  # 旧写法（已废弃）
  # driver.find_element_by_css_selector("选择器")
  # 新的标准写法
  driver.find_element(By.CSS_SELECTOR, "选择器")
  

内容的提问来源于stack exchange，提问作者Emma Amos