如何在Python的Selenium中拦截弹窗以避免干扰网页爬虫？

你使用的--disable-popup-blocking参数仅对浏览器原生弹窗（如alert()/confirm()）有效，而截图中的弹窗属于网站通过JavaScript生成的自定义模态框，因此该配置无法生效。以下是几种可行的解决思路：

1. 显式检测并关闭弹窗 #

针对随机出现的自定义弹窗，通过显式等待检测弹窗元素是否存在，若存在则点击关闭按钮，这是最通用的解决方案：

首先导入相关模块：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

在页面加载完成后（或每次跳转子页面后）添加弹窗检测逻辑：

try:
    # 根据实际弹窗的关闭按钮定位器修改，示例用CSS选择器
    close_button = WebDriverWait(driver, 4).until(
        EC.element_to_be_clickable((By.CSS_SELECTOR, "button.modal-close"))
    )
    close_button.click()
except:
    # 无弹窗时跳过，不影响后续流程
    pass

• 建议将等待时间设为3-5秒，平衡检测准确性与爬虫效率；
• 可通过浏览器开发者工具（F12）定位弹窗关闭按钮的CSS选择器/XPath。

2. 禁用JavaScript（按需使用） #

若目标网页的文本内容无需JavaScript渲染，直接禁用JS可从根源阻止弹窗生成：

options.add_argument("--disable-javascript")

⚠️ 注意：如果网页是单页应用（SPA）或核心内容依赖JS加载，此方法会导致无法爬取到有效内容，需谨慎使用。

3. 拦截弹窗相关的网络请求 #

通过Chrome DevTools Protocol（CDP）拦截弹窗依赖的JS文件或API请求，精准阻止弹窗加载：

def block_popup_requests(driver):
    # 替换为实际弹窗相关的请求URL规则
    blocked_urls = [
        "*popup*.js",
        "*api/get-modal*",
        "*static/modal*"
    ]
    driver.execute_cdp_cmd('Network.setBlockedURLs', {"urls": blocked_urls})
    driver.execute_cdp_cmd('Network.enable', {})

# 初始化driver后调用该函数
block_popup_requests(driver)

• 需通过浏览器抓包（Network面板）分析弹窗加载时的请求，针对性配置拦截规则；
• 此方法不会影响网页其他正常内容的加载。

4. 调整Chrome配置增强拦截 #

补充一些可能增强弹窗拦截的配置选项，可尝试添加到你的Options中：

options.add_argument("--disable-notifications")
options.add_argument("--disable-features=VizDisplayCompositor")
options.add_experimental_option("prefs", {
    "profile.default_content_setting_values.notifications": 2,
    "profile.default_content_settings.popups": 0
})

内容的提问来源于stack exchange，提问作者CoolMathematician