使用Selenium爬取Rocket Punch公司列表页偶发无法获取指定元素的问题咨询

问题根源 #

Selenium爬取不稳定、有时拿不到目标内容的问题，本质是等待策略存在缺陷，并非代码逻辑错误：

• 隐式等待的作用范围有限：driver.implicitly_wait(5) 只会在执行元素查找动作时触发等待，不会主动等待页面动态渲染的内容完全加载完成。当遇到网络波动、页面加载变慢的情况，5秒的等待时长不足以让前端动态加载的公司列表渲染完毕，代码就已经执行了driver.page_source获取源码，自然会出现拿不到目标元素的情况。
• 时序判断缺失：抓取源码前未确认目标元素是否存在于DOM中，直接抓全页源码再解析，属于盲等状态，没有和页面渲染进度做同步。

修复调整步骤 #

1. 替换原有盲等逻辑为显式等待，在获取源码前先确认目标元素已经加载完成，再执行后续解析动作，调整后的可稳定运行的代码参考：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

# 可选：加入基础反爬配置
options = webdriver.ChromeOptions()
options.add_argument("--disable-blink-features=AutomationControlled")
driver = webdriver.Chrome(r'C:(my path)\chromedriver.exe', options=options)
url = 'https://www.rocketpunch.com/companies?page=1'

driver.get(url)
# 设置15秒最长等待时间，直到第一个目标元素加载完成
wait = WebDriverWait(driver, 15)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "h4.header.name")))

# 确认元素加载完成后再抓取源码
html = driver.page_source
print(html)

soup = BeautifulSoup(html, 'lxml')
comments = soup.findAll('h4', {'class': 'header name'})

for comment in comments:
    print(comment)

2. 注意事项：

• 尽量不要把隐式等待和显式等待混合使用，否则会出现等待时长不符合预期的异常问题，接入显式等待后可删除原有implicitly_wait的配置。
• 显式等待的最长时长可根据自身网络环境调整，建议不要低于8秒，避免网络波动时触发超时。
• 若遇到服务器返回空页面的情况，可调整浏览器请求参数，降低被反爬拦截的概率。

内容的提问来源于stack exchange，提问作者yessss