如何检测与防范通过Chrome DevTools Protocol(CDP)控制的网页爬虫？

核心识别指标 #

• CDP会话残留痕迹：检查浏览器window对象中是否存在CDP相关的隐藏属性（如chrome.debugger的内部状态），或页面加载时是否有异常的脚本注入痕迹。另外，CDP控制下的浏览器，Performance API的时序数据会和普通用户有差异——比如脚本执行的启动时机更早，跳过了部分浏览器默认的加载流程。
• 行为微特征差异：普通用户的操作有自然的随机波动，比如鼠标移动会有微小抖动、按键间隔时快时慢；而CDP爬虫的操作往往是固定间隔、直线移动路径，甚至没有任何无意识的误操作（比如误点空白区域）。
• 资源加载异常：CDP可直接通过协议获取DOM或接口数据，可能跳过正常的静态资源加载流程——比如页面CSS还未加载完成就发起数据接口请求，或者资源请求的优先级完全不符合普通用户的浏览逻辑。
• 浏览器状态不一致：检测document.hasFocus()、navigator.permissions等状态，CDP控制的浏览器可能在后台运行却标记为“已聚焦”，或未授权权限却返回“已允许”的异常结果。

有效防范技术 #

• 动态隐形交互验证：在页面中嵌入随机触发的微小交互要求，比如随机要求鼠标悬停某个隐藏元素超过500ms，或在特定时机点击不可见的按钮。CDP爬虫若未针对性处理这类随机逻辑，就会触发拦截。
• 实时行为基线校验：建立普通用户的行为基线（比如页面停留时间分布、操作间隔方差、滚动速度范围），一旦发现大量会话的行为完全贴合爬虫特征（比如停留时间精确到秒、滚动速度均匀无变化），直接触发验证码或临时限制。
• CDP专属拦截规则：在服务器端检测请求的细微特征——比如部分CDP控制的浏览器会留下x-devtools-request-id这类自定义请求头（即使被修改，也可结合TLS握手指纹判断，CDP启动的Chrome TLS配置会有微小差异）。
• 反调试与代码混淆：对页面核心数据接口的调用逻辑进行混淆，同时加入CDP检测代码——比如通过chrome.debugger.getTargets()判断是否存在调试连接，一旦发现就返回干扰数据或停止核心功能。

进阶识别方法 #

• 机器学习行为分类：收集普通用户和CDP爬虫的全行为数据（鼠标轨迹、按键节奏、页面交互顺序等），训练分类模型捕捉人工难以察觉的细微差异，比如鼠标移动的加速度变化、操作间隔的方差分布。
• 内核级时序检测：利用V8引擎的执行时序特征，CDP控制下的脚本执行会和普通用户有细微的时序差——比如函数调用的响应时间波动更小，可通过埋点检测这些差异进行识别。
• 全会话行为追踪：对每个用户会话进行全流程记录，比如是否在页面加载完成前就发起数据请求、是否重复执行完全一致的操作序列，这类高度重复的模式是CDP爬虫的典型标志。

内容的提问来源于stack exchange，提问作者user25225237