Selenium仅支持JS网站？为何谷歌金融爬取Selenium失效而BeautifulSoup可用

核心结论 #

Selenium不是仅支持JavaScript渲染的网站，它可以处理纯HTML页面，你遇到的TimeoutException大概率是操作配置问题，而非工具本身的限制。

可能的超时原因 #

• 等待策略错误：如果你的Selenium代码用了错误的显式等待条件（比如等待一个不存在的元素、用了visibility_of_element_located但目标元素实际被隐藏），或者依赖固定时长的time.sleep()，都可能导致超时。纯HTML页面加载快，但元素定位器不准确的话，等待逻辑会触发超时。
• 反爬机制拦截：谷歌金融可能检测到Selenium的自动化特征（比如默认的webdriver标识），故意延迟页面响应或阻止访问，导致Selenium无法在规定时间内完成元素定位。
• 浏览器/网络配置问题：比如未启用无头模式导致页面渲染异常、浏览器启动参数缺失（如禁用图片加载、设置窗口大小）、网络波动导致页面加载缓慢，都会触发超时。

解决建议 #

• 核对元素定位器：确保你等待的市值、市盈率等元素的XPath/CSS选择器是正确的，可通过浏览器开发者工具验证。
• 优化等待逻辑：用WebDriverWait结合presence_of_element_located（仅检查元素存在）替代visibility_of_element_located，避免因元素暂时不可见导致超时；也可先等待document.readyState变为complete确认页面加载完成。
• 添加反反爬配置：在启动浏览器时添加参数，比如：

  from selenium.webdriver.chrome.options import Options
  
  options = Options()
  options.add_argument('--headless=new')
  options.add_argument('--disable-blink-features=AutomationControlled')
  options.add_experimental_option('excludeSwitches', ['enable-automation'])
  options.add_experimental_option('useAutomationExtension', False)
  

• 检查网络：确保你的网络能稳定访问目标页面，必要时可添加代理。

内容的提问来源于stack exchange，提问作者Ani