同一IP多User Agent发送论坛垃圾帖绕过Captcha问题咨询

核心应对思路 #

• 老旧UA直接拦截：你示例中采集的UA包含大量已退市的老旧设备标识（如Nokia功能机、黑莓PlayBook、Android 1.5设备等），目前无真实普通用户使用，可直接将这类UA加入拦截黑名单，命中直接拒绝请求。
• IP+UA动态限流：针对归属为消费级ISP的IP，设置1小时内出现的不同UA数量超过5个即触发24小时临时封禁，正常用户单IP短时间内不会频繁切换UA，该规则误封概率极低，且无需封禁整个ASN，不会影响正常用户访问。
• 升级校验体系：替换原有易绕过的静态Captcha，改用行为验证码，同时新增前端行为校验逻辑：检查鼠标移动轨迹、按键间隔、页面停留时长、静态资源加载完整性，爬虫请求通常无真实前端交互行为，即使伪造UA也无法绕过该层校验。
• 账号权限分层：新注册、无有效正向互动记录的账号发帖需先完成手机号二次验证，发帖内容进入人工/AI审核队列，累计3次以上正常过审记录后再放开直接发布权限。
• 内容特征拦截：将已发现的垃圾帖关键词、句式、外链规则录入过滤库，发帖时自动匹配拦截，命中规则多次的账号直接永久封禁。

可辅助排查的新增日志采集维度 #

• 客户端指纹维度：采集Canvas指纹、WebGL指纹、屏幕分辨率、系统字体列表、时区等设备特征，同一爬虫的设备特征通常固定，即使切换IP、UA也可快速聚类识别批量垃圾请求。
• 请求行为维度：采集请求间隔时长、页面访问路径、是否加载完整静态资源（CSS/JS/图片）、HTTP请求头顺序、Referer合法性、Cookie留存情况，爬虫通常不会完整加载页面资源，请求间隔固定、跳转路径不符合普通用户浏览逻辑，特征差异明显。
• 账号行为维度：采集注册到发帖的间隔时长、内容输入的按键间隔、是否存在鼠标点击/滚动交互、是否有内容修改行为，正常用户从注册到发帖至少需要数分钟浏览页面，输入内容存在停顿，爬虫通常注册后数秒即发帖，内容为一次性粘贴生成。
• 网络层维度：采集IP端口波动情况、TCP握手时延、代理标识，这类垃圾请求多使用住宅代理，端口变化频繁、握手时延与真实家用IP存在明显差异，可作为识别辅助特征。

内容的提问来源于stack exchange，提问作者ether6