You need to enable JavaScript to run this app. WIPO品牌数据库POST接口qz参数生成、分页实现及反爬问题咨询
优惠活动
大模型
产品
解决方案
定价
更多

WIPO品牌数据库POST接口qz参数生成、分页实现及反爬问题咨询

WIPO品牌数据库爬取问题与实现指引

已确认的爬取链路节点

  • 基础交互路径:访问WIPO品牌数据库英文站点,选择「Search By」分类下的「Country」查询维度,在「Holder Country」输入框填入国家代码AE触发搜索
  • 接口观测特征:搜索操作触发后,站点会向https://www3.wipo.int/branddb/jsp/select.jsp发起POST类型的XHR异步请求,拉取匹配的品牌数据
  • 当前堵点
    • 无法明确请求参数qz的生成规则,没办法手动构造合规请求参数直连接口、实现分页查询
    • 已定位到承载参数编码逻辑的前端JS文件路径:https://www3.wipo.int/branddb/scripts/branddb-required.11080.min.js
    • 过往尝试用Selenium搭配代理轮换爬取,仅抓取数页数据就被站点反爬机制拦截

核心问题解决路径

qz参数构造方法

  • 对目标min.js文件做格式化解混淆处理,全局检索关键字qz,定位参数生成的触发逻辑:从站点现有请求特征判断,qz是绑定当前查询条件的加密标识串,首次搜索提交查询条件时由前端生成,后续分页请求不需要重新计算生成,只需要复用该固定值,仅调整分页偏移类参数即可获取对应页码数据
  • 快速验证方案:在浏览器开发者工具的网络面板,找到首个select.jsp请求,将该请求完整复制为fetch格式到控制台执行,仅修改代表查询起始位置的偏移字段值(如start参数),如果能正常返回对应偏移量的结果,即可确认qz的固定属性

反爬拦截规避方案

  • 减少浏览器层的指纹暴露:将逆向得到的qz生成逻辑用后端代码重写,不再依赖Selenium发起请求,直接构造带全量匹配请求头的HTTP请求调用目标接口,避开站点对自动化浏览器的指纹检测
  • 调整代理使用策略:单查询会话全程绑定固定IP,不要频繁切换代理;等当前国家维度的全部查询结果抓取完成后,再切换IP发起下一轮查询,高频跳IP更容易触发异常流量判定
  • 模拟真人操作节奏:请求间设置2-5秒的随机延时,不要固定周期发起请求,同时完整对齐浏览器实际发送的所有请求头字段,不要缺失溯源类、安全类请求头

内容的提问来源于stack exchange,提问作者αԋɱҽԃ αмєяιcαη

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.29 06:27:02