You need to enable JavaScript to run this app. Selenium爬取Newsnow财经新闻点更多按钮遇选择器、点击拦截异常咨询
优惠活动
大模型
产品
解决方案
定价
更多

Selenium爬取Newsnow财经新闻点更多按钮遇选择器、点击拦截异常咨询

NewsNow页面爬取新闻加载功能的报错修复

两类报错的核心原因

  • 第一类InvalidSelectorException无效选择器报错:原代码使用的span:contains("view more headlines")是jQuery专属的伪类选择器语法,Selenium内置的CSS选择器解析引擎不支持该自定义语法,直接触发规则校验失败。
  • 第二类ElementClickInterceptedException点击被拦截报错:目标按钮处于悬浮alerts-scroller告警组件的遮挡范围内,Selenium原生的元素点击动作会校验可视区权限,被遮挡的元素无法触发常规点击。
  • 额外的兼容性隐患:原代码使用的find_element_by_css_selector、find_element_by_xpath是Selenium 3.x版本的旧API,在Selenium 4.x版本中已被弃用,存在版本适配问题。

针对性修复方案

  • 替换失效的选择器规则
    • 弃用不被原生支持的:containsCSS选择器,优先匹配按钮自带的稳定唯一类名js-button-more,该类名是NewsNow前端写死的加载按钮标识,不会随页面结构动态变动
    • 若需要通过文本匹配定位,使用XPath的内置文本匹配语法://a[contains(text(), "view more headlines")],不要使用硬写路径的绝对XPath,这类路径仅适配当前静态页面结构,前端稍微调整层级就会失效
  • 解决元素遮挡问题
    • 页面加载完成后,先通过JS将遮挡按钮的alerts-scroller组件设置为隐藏,从根源上消除拦截源
    • 每次触发点击前,先将目标按钮滚动到可视区域的居中位置,避免按钮处于页面边缘被悬浮组件遮挡
    • 被遮挡场景下不要使用原生的.click()方法,直接通过JS触发元素的点击事件,绕过Selenium的可视区权限校验
    • 每次循环点击前重新获取按钮元素引用,避免页面动态加载后旧的元素引用失效,触发陈旧元素异常

可直接落地的修复后代码

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

target_url = 'https://www.newsnow.co.uk/h/Business+&+Finance?type=ln'
driver = webdriver.Chrome(executable_path=r"C:\chromedriver.exe")
driver.get(target_url)

# 隐藏遮挡按钮的悬浮告警组件
driver.execute_script("document.querySelector('.alerts-scroller').style.display = 'none'")
driver.implicitly_wait(10)

# 循环点击加载更多内容
for i in range(10):
    try:
        # 每次循环重新定位加载按钮
        load_more_btn = driver.find_element(By.CLASS_NAME, "js-button-more")
        # 滚动按钮到可视区居中位置
        driver.execute_script("arguments[0].scrollIntoView({block: 'center'})", load_more_btn)
        time.sleep(1)
        # JS触发点击,绕过遮挡校验
        driver.execute_script("arguments[0].click()", load_more_btn)
        print(f'第 {i+1} 次加载点击完成')
        time.sleep(5)
    except Exception as e:
        print(f'加载流程终止,触发异常:{str(e)}')
        break

补充提示:如果需要加载最大量级的新闻内容,可以将固定循环10次的逻辑替换为无限循环逻辑,直到页面不再出现加载按钮为止,采集效率会更高。


内容的提问来源于stack exchange,提问作者Khaled Koubaa

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 17:36:05