使用Python requests_html访问科威特内政部页面遇JS反爬校验问题
Sucuri CloudProxy JS校验拦截的处理方案
方案1:启用requests_html内置JS渲染能力完成校验
多数拦截场景的核心原因是没有执行页面内置的Sucuri校验脚本,未生成合规的校验cookie,直接发起请求就会被重定向到校验页。可调整原有代码,通过内置渲染引擎执行页面JS,自动完成cookie写入流程:
from requests_html import HTMLSession s = HTMLSession() target_url = "https://www.moi.gov.kw/mfservices/immigration-fines/residency/268101704418" def get_residency_fine(url): # 首次请求拿到带校验逻辑的页面 r = s.get(url, headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36" }) # 执行页面JS,等待校验流程完成、校验cookie写入本地session r.render(timeout=30, sleep=5) # 带校验cookie重新发起请求,获取真实业务响应 resp = s.get(url) print(resp.content) get_residency_fine(target_url)
局限:如果Sucuri启用了无界面浏览器指纹检测规则,该方案会被识别拦截。
方案2:使用带指纹伪装的浏览器自动化工具
当内置渲染被识别时,可切换undetected-chromedriver、配置了反检测参数的playwright等工具,完全模拟真实用户的手动操作路径:
- 不需要手动抓取API请求链接,直接从初始查询页开始操作:打开居留罚款查询入口,在输入框填入身份证件号,点击Enquire按钮,等待页面加载完成后直接提取DOM内容
- 工具会自动完成Sucuri的JS校验、cookie携带、浏览器指纹上报全流程,请求特征和真实用户手动操作完全一致,基本不会触发拦截
方案3:手动复用校验参数实现轻量化请求
如果仅需单次/低频访问,可直接从通过校验的Chrome浏览器中提取参数,降低请求开销:
- 打开Chrome开发者工具的Application面板,复制Sucuri校验通过后写入的专属cookie(通常为
__swu、__ucf等字段) - 复制当前Chrome请求的完整请求头(包含User-Agent、sec-ch-ua系列、Accept等特征字段)
- 将上述cookie和请求头直接填入python请求的headers中,即可直接请求目标API链接,不需要重复执行JS渲染流程
注意事项:
- 不要使用python默认的请求头,这类特征会被Sucuri直接拦截
- 不要频繁切换请求IP的归属地,IP异常跳变会触发更高等级的校验规则
- 不要短时间内重复发起相同参数的请求,频率异常会被判定为机器人
内容的提问来源于stack exchange,提问作者YasserKhalil
相关产品推荐
相关产品推荐

