Selenium爬取Newsnow财经新闻点更多按钮遇选择器、点击拦截异常咨询
NewsNow页面爬取新闻加载功能的报错修复
两类报错的核心原因
- 第一类
InvalidSelectorException无效选择器报错:原代码使用的span:contains("view more headlines")是jQuery专属的伪类选择器语法,Selenium内置的CSS选择器解析引擎不支持该自定义语法,直接触发规则校验失败。 - 第二类
ElementClickInterceptedException点击被拦截报错:目标按钮处于悬浮alerts-scroller告警组件的遮挡范围内,Selenium原生的元素点击动作会校验可视区权限,被遮挡的元素无法触发常规点击。 - 额外的兼容性隐患:原代码使用的
find_element_by_css_selector、find_element_by_xpath是Selenium 3.x版本的旧API,在Selenium 4.x版本中已被弃用,存在版本适配问题。
针对性修复方案
- 替换失效的选择器规则
- 弃用不被原生支持的
:containsCSS选择器,优先匹配按钮自带的稳定唯一类名js-button-more,该类名是NewsNow前端写死的加载按钮标识,不会随页面结构动态变动 - 若需要通过文本匹配定位,使用XPath的内置文本匹配语法:
//a[contains(text(), "view more headlines")],不要使用硬写路径的绝对XPath,这类路径仅适配当前静态页面结构,前端稍微调整层级就会失效
- 弃用不被原生支持的
- 解决元素遮挡问题
- 页面加载完成后,先通过JS将遮挡按钮的
alerts-scroller组件设置为隐藏,从根源上消除拦截源 - 每次触发点击前,先将目标按钮滚动到可视区域的居中位置,避免按钮处于页面边缘被悬浮组件遮挡
- 被遮挡场景下不要使用原生的
.click()方法,直接通过JS触发元素的点击事件,绕过Selenium的可视区权限校验 - 每次循环点击前重新获取按钮元素引用,避免页面动态加载后旧的元素引用失效,触发陈旧元素异常
- 页面加载完成后,先通过JS将遮挡按钮的
可直接落地的修复后代码
import time from selenium import webdriver from selenium.webdriver.common.by import By target_url = 'https://www.newsnow.co.uk/h/Business+&+Finance?type=ln' driver = webdriver.Chrome(executable_path=r"C:\chromedriver.exe") driver.get(target_url) # 隐藏遮挡按钮的悬浮告警组件 driver.execute_script("document.querySelector('.alerts-scroller').style.display = 'none'") driver.implicitly_wait(10) # 循环点击加载更多内容 for i in range(10): try: # 每次循环重新定位加载按钮 load_more_btn = driver.find_element(By.CLASS_NAME, "js-button-more") # 滚动按钮到可视区居中位置 driver.execute_script("arguments[0].scrollIntoView({block: 'center'})", load_more_btn) time.sleep(1) # JS触发点击,绕过遮挡校验 driver.execute_script("arguments[0].click()", load_more_btn) print(f'第 {i+1} 次加载点击完成') time.sleep(5) except Exception as e: print(f'加载流程终止,触发异常:{str(e)}') break
补充提示:如果需要加载最大量级的新闻内容,可以将固定循环10次的逻辑替换为无限循环逻辑,直到页面不再出现加载按钮为止,采集效率会更高。
内容的提问来源于stack exchange,提问作者Khaled Koubaa
相关产品推荐
相关产品推荐

