WIPO品牌数据库POST接口qz参数生成、分页实现及反爬问题咨询
WIPO品牌数据库爬取问题与实现指引
已确认的爬取链路节点
- 基础交互路径:访问WIPO品牌数据库英文站点,选择「Search By」分类下的「Country」查询维度,在「Holder Country」输入框填入国家代码
AE触发搜索 - 接口观测特征:搜索操作触发后,站点会向
https://www3.wipo.int/branddb/jsp/select.jsp发起POST类型的XHR异步请求,拉取匹配的品牌数据 - 当前堵点
- 无法明确请求参数
qz的生成规则,没办法手动构造合规请求参数直连接口、实现分页查询 - 已定位到承载参数编码逻辑的前端JS文件路径:
https://www3.wipo.int/branddb/scripts/branddb-required.11080.min.js - 过往尝试用Selenium搭配代理轮换爬取,仅抓取数页数据就被站点反爬机制拦截
- 无法明确请求参数
核心问题解决路径
qz参数构造方法
- 对目标min.js文件做格式化解混淆处理,全局检索关键字
qz,定位参数生成的触发逻辑:从站点现有请求特征判断,qz是绑定当前查询条件的加密标识串,首次搜索提交查询条件时由前端生成,后续分页请求不需要重新计算生成,只需要复用该固定值,仅调整分页偏移类参数即可获取对应页码数据 - 快速验证方案:在浏览器开发者工具的网络面板,找到首个
select.jsp请求,将该请求完整复制为fetch格式到控制台执行,仅修改代表查询起始位置的偏移字段值(如start参数),如果能正常返回对应偏移量的结果,即可确认qz的固定属性
反爬拦截规避方案
- 减少浏览器层的指纹暴露:将逆向得到的
qz生成逻辑用后端代码重写,不再依赖Selenium发起请求,直接构造带全量匹配请求头的HTTP请求调用目标接口,避开站点对自动化浏览器的指纹检测 - 调整代理使用策略:单查询会话全程绑定固定IP,不要频繁切换代理;等当前国家维度的全部查询结果抓取完成后,再切换IP发起下一轮查询,高频跳IP更容易触发异常流量判定
- 模拟真人操作节奏:请求间设置2-5秒的随机延时,不要固定周期发起请求,同时完整对齐浏览器实际发送的所有请求头字段,不要缺失溯源类、安全类请求头
内容的提问来源于stack exchange,提问作者αԋɱҽԃ αмєяιcαη
相关产品推荐
相关产品推荐

