如何使用Selenium等工具在多站点爬虫时规避Cookie弹窗问题

针对跨站点Cookie弹窗无法统一匹配的问题，目前有两类成熟的落地方案：

一、通用自动同意方案 #

这类方案不需要针对单站点写适配规则，可覆盖绝大多数主流站点：

• 直接使用浏览器自动化框架的内置Cookie处理工具，比如Playwright、Puppeteer生态中维护了覆盖数千站点的公共规则库，封装好的工具如playwright-consent-handler可自动识别弹窗、匹配同意按钮完成点击，实测覆盖90%以上的公开站点。
• 若要自行实现通用匹配逻辑，可按以下优先级依次校验元素：
  1. 匹配按钮文本关键词，忽略大小写与特殊字符，关键词列表可包含同意全部、接受、Accept All、Agree、Consent、允许所有Cookie
  2. 匹配元素属性特征，检查id、class、name字段是否包含accept、agree、consent、allow-all、cookie-accept类特征
  3. 匹配弹窗层级特征，Cookie弹窗操作区最右侧、最下方的高亮主按钮默认判定为同意按钮
• 可搭配域名存储持久化逻辑，首次处理完成后将对应域名的Cookie、LocalStorage、SessionStorage全量保存，后续爬取同站点时直接导入即可，无需重复处理弹窗。

二、完全规避弹窗的方案 #

这类方案不需要触发弹窗也不需要点击，效率更高：

• 预先携带同意状态Cookie：绝大多数站点的Cookie同意状态仅存在于1-2个Cookie字段中，如cookie_consent=accepted、euconsent-v2=*，提前抓包获取同意后的Cookie值，爬取时直接携带即可完全避免弹窗渲染。
• 模拟搜索引擎爬虫UA：合规站点对搜索引擎爬虫不会触发Cookie授权提示，将请求头User-Agent修改为搜索引擎标识即可，例：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)。
• 禁用JavaScript加载：若爬取的是静态内容无需JS渲染，直接禁用站点JS执行即可，Cookie弹窗均为JS动态生成，禁用后不会出现。
• 更换非欧盟地区IP：多数Cookie弹窗是GDPR地域触发的，使用非欧盟地区的代理IP爬取，可直接规避弹窗触发逻辑。

内容的提问来源于stack exchange，提问作者Robin Müller