如何用Selenium实现通用Cookie授权弹窗检测功能？

问题背景 #

我用Selenium+Flask搭建了一款可接收任意URL、爬取Cookie及其他信息的动态爬虫，但始终无法实现通用的Cookie授权弹窗检测功能，试过两种方法都存在局限性：

1. PARTIAL_LINK_TEXT方法（仅部分网站生效） #

该方法依赖"Cookie"关键词，但很多网站不适用——比如https://www.spitzer-silo.com/能正常检测，https://www.siemens.com/de/de.html完全无效，且部分网站的弹窗可能不含"Cookie"关键词。代码示例：

url="https://www.spitzer-silo.com/"
 
desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["goog:loggingPrefs"] = {"performance": "ALL"}

options = webdriver.ChromeOptions()
options.add_argument('headless')
options.add_argument("--ignore-certificate-errors")

driver = webdriver.Chrome(ChromeDriverManager().install(),options=options, desired_capabilities=desired_capabilities)

driver.get(url)

myDiv = driver.find_element(By.PARTIAL_LINK_TEXT, 'Cookie')

2. 窗口句柄方法（无效） #

尝试通过窗口句柄判断弹窗，但始终只返回单个窗口句柄，无法识别Cookie弹窗。代码示例：

url="https://www.siemens.com/de/de.html"

desired_capabilities = DesiredCapabilities.CHROME
desired_capabilities["goog:loggingPrefs"] = {"performance": "ALL"}

# 创建webdriver对象并传入参数
options = webdriver.ChromeOptions()

# 启用Headless模式
options.add_argument('headless')

# 忽略证书错误
options.add_argument("--ignore-certificate-errors")

# 启动Chrome驱动
driver = webdriver.Chrome(ChromeDriverManager().install(),options=options, desired_capabilities=desired_capabilities)

# 请求目标网站并等待加载
driver.get(url)
time.sleep(30)

whandle = driver.window_handles

返回结果：['CDwindow-E9E6A9B1021BBA75132EF9DCA40A2824']

核心需求：有没有办法先检测网站是否存在弹窗，再验证弹窗是否包含Cookie相关文本？

可行的通用检测方案 #

一、先检测弹窗存在性 #

Cookie授权弹窗通常是固定定位的浮层或页面非主内容容器，可通过以下思路检测：

• 定位常见弹窗特征元素：查找class/id包含modal、popup、overlay、cookie、consent的元素，或具有position: fixed/sticky属性的顶层元素，代码示例：

  from selenium.webdriver.common.by import By
  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  
  # 显式等待页面加载
  wait = WebDriverWait(driver, 10)
  # 查找疑似弹窗的元素集合
  possible_popups = wait.until(EC.presence_of_all_elements_located(
      (By.XPATH, "//div[contains(@class, 'modal') or contains(@class, 'popup') or contains(@class, 'cookie') or contains(@class, 'consent')]")
  ))
  

• 对比DOM变化：记录页面初始加载后的节点数，等待3-5秒后再次对比，若新增大量顶层节点，大概率是弹窗。

二、验证弹窗是否为Cookie授权弹窗 #

找到疑似弹窗后，通过以下方式验证：

• 多语言关键词匹配：不限于"Cookie"，扩展到"同意"、"拒绝"、"隐私"、"Consent"、"Privacy"、"Einwilligung"（德语）等关键词，代码示例：

  cookie_keywords = ["Cookie", "cookie", "同意", "拒绝", "隐私", "Consent", "Privacy", "Einwilligung"]
  for popup in possible_popups:
      try:
          popup_text = popup.text
          if any(keyword in popup_text for keyword in cookie_keywords):
              print("检测到Cookie授权弹窗")
              break
      except:
          # 元素不可见或无法获取文本，跳过
          continue
  

• 按钮特征匹配：Cookie弹窗通常有"同意全部"、"拒绝全部"、"设置"类按钮，可查找包含这类文本的按钮，结合弹窗容器判断。

三、补充优化点 #

• 优化Headless模式：部分网站在Headless模式下不显示Cookie弹窗，若必须用Headless，添加模拟真实浏览器的参数：

  options.add_argument("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36")
  options.add_argument("--window-size=1920,1080")
  

• 替换硬等待：用WebDriverWait替代time.sleep()，提升稳定性和效率；
• 处理iframe嵌套弹窗：部分弹窗嵌套在iframe内，需先切换到iframe再检测：

  iframes = driver.find_elements(By.TAG_NAME, "iframe")
  for iframe in iframes:
      try:
          driver.switch_to.frame(iframe)
          # 执行弹窗检测逻辑
          driver.switch_to.default_content()
      except:
          driver.switch_to.default_content()
          continue
  

内容的提问来源于stack exchange，提问作者Mohamed Abdullah