Selenium与BeautifulSoup4结合后.find_all失效，变量未定义问题

可能的原因 #

• 页面渲染不完整：虽然加了time.sleep，但动态页面的加载时长不稳定，sleep时长不足时，driver.page_source获取的是未完全渲染的源码，导致find_all找不到目标元素，Petprice2未被赋值触发NameError。
• 选择器失效：纯BS4爬取的是静态页面源码，而Selenium渲染后的动态页面可能修改了元素的class、id或DOM结构，原来的选择器匹配不到新页面里的元素。
• 源码传递错误：代码里可能没将Selenium获取的渲染后源码传给BeautifulSoup，仍在使用原来的静态页面数据解析，自然找不到动态加载的价格元素。

解决优化方案 #

1. 替换sleep为显式等待：用Selenium的显式等待替代固定时长的sleep，确保目标元素加载完成后再获取页面源码，示例代码：

   from selenium.webdriver.support.ui import WebDriverWait
   from selenium.webdriver.support import expected_conditions as EC
   from selenium.webdriver.common.by import By
   
   # 等待目标元素出现，最长等待10秒
   WebDriverWait(driver, 10).until(
       EC.presence_of_element_located((By.CLASS_NAME, "目标价格元素的class"))
   )
   # 再获取渲染后的页面源码
   soup = BeautifulSoup(driver.page_source, 'html.parser')
   

2. 重新验证选择器：在Selenium打开的页面上右键→检查元素，找到价格元素的最新选择器（class、xpath等），更新find_all的参数，比如原来用class_="old-price"，现在可能需要改成class_="new-price"。
3. 确保源码正确传递：确认BeautifulSoup解析的是driver.page_source，而非之前静态请求的响应内容，示例：

   # 错误：仍使用requests的静态响应
   # soup = BeautifulSoup(response.text, 'html.parser')
   # 正确：使用Selenium渲染后的动态源码
   soup = BeautifulSoup(driver.page_source, 'html.parser')
   

4. 增加异常处理与校验：在find_all后添加判断，避免变量未定义，示例：

   Petprice2 = soup.find_all("div", class_="price-class")
   if not Petprice2:
       print("未找到第二个价格元素")
       # 可添加重试逻辑或设置默认值
   else:
       # 后续数据处理逻辑
       pass
   

5. 检查页面特殊情况：如果页面存在iframe嵌套或弹窗，需先切换到对应iframe，或关闭弹窗后再获取元素，示例：

   # 切换到目标iframe
   driver.switch_to.frame("iframe-id")
   # 操作完成后切回主文档
   driver.switch_to.default_content()
   

内容的提问来源于stack exchange，提问作者Rosie