Python Selenium 如何绕过Cookie同意弹窗？图片爬虫失效求助

问题分析 #

原有爬虫代码失效，核心是无法正确处理Google图片搜索跳转后的Cookie同意弹窗，主要诱因包括：

• 隐式等待与显式等待混用，导致等待逻辑冲突
• Cookie弹窗的iframe或元素定位器随页面版本更新发生变化
• 窗口切换后未正确等待页面加载完成

修复方案 #

方案1：修正弹窗定位逻辑（无需修改浏览器配置） #

取消隐式等待与显式等待的混用，优先处理非iframe弹窗，再兼容iframe场景：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wd = webdriver.Chrome('D://chromedriver.exe')
wd.execute_script('window.open("about:blank");')  
wd.switch_to.window(wd.window_handles[1]) 

# 直接访问图片搜索页，减少冗余跳转
search_url = "https://www.google.com/search?safe=off&site=&tbm=isch&source=hp&q={q}&oq={q}&gs_l=img"
wd.get(search_url.format(q='Volkswagen'))

# 优先处理非iframe的Cookie弹窗
try:
    accept_btn = WebDriverWait(wd, 10).until(
        EC.element_to_be_clickable((By.XPATH, "//button[@aria-label='接受所有 Cookie']"))
    )
    accept_btn.click()
except:
    # 兼容弹窗在iframe内的场景
    try:
        WebDriverWait(wd, 10).until(
            EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, "iframe[src*='consent.google.com']"))
        )
        WebDriverWait(wd, 10).until(
            EC.element_to_be_clickable((By.XPATH, "//div[@id='introAgreeButton']"))
        ).click()
        # 切回主文档
        wd.switch_to.default_content()
    except Exception as e:
        print(f"Cookie弹窗处理失败: {e}")

方案2：通过ChromeOptions预配置跳过弹窗（更稳定高效） #

直接在启动浏览器时设置偏好，自动接受Cookie，无需手动处理弹窗：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# 配置自动接受Cookie，禁用弹窗提示
options.add_experimental_option("prefs", {
    "profile.default_content_setting_values.cookies": 1,
    "profile.cookie_controls_mode": 0
})

wd = webdriver.Chrome('D://chromedriver.exe', options=options)
wd.execute_script('window.open("about:blank");')  
wd.switch_to.window(wd.window_handles[1]) 

search_url = "https://www.google.com/search?safe=off&site=&tbm=isch&source=hp&q={q}&oq={q}&gs_l=img"
wd.get(search_url.format(q='Volkswagen'))
# 后续爬虫逻辑可正常执行

关键注意事项 #

• 禁止同时使用implicitly_wait和WebDriverWait，两者混用会导致等待时间不可控
• Google弹窗的元素定位器可能随地区、页面版本变化，若定位失败需重新检查元素属性
• 采用ChromeOptions预配置的方式稳定性更强，可避免因弹窗结构变化导致爬虫失效

内容的提问来源于stack exchange，提问作者cgnschuec