You need to enable JavaScript to run this app. 使用Python requests_html访问科威特内政部页面遇JS反爬校验问题
优惠活动
大模型
产品
解决方案
定价
更多

使用Python requests_html访问科威特内政部页面遇JS反爬校验问题

Sucuri CloudProxy JS校验拦截的处理方案

方案1:启用requests_html内置JS渲染能力完成校验

多数拦截场景的核心原因是没有执行页面内置的Sucuri校验脚本,未生成合规的校验cookie,直接发起请求就会被重定向到校验页。可调整原有代码,通过内置渲染引擎执行页面JS,自动完成cookie写入流程:

from requests_html import HTMLSession
s = HTMLSession()
target_url = "https://www.moi.gov.kw/mfservices/immigration-fines/residency/268101704418"

def get_residency_fine(url):
    # 首次请求拿到带校验逻辑的页面
    r = s.get(url, headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
    })
    # 执行页面JS,等待校验流程完成、校验cookie写入本地session
    r.render(timeout=30, sleep=5)
    # 带校验cookie重新发起请求,获取真实业务响应
    resp = s.get(url)
    print(resp.content)

get_residency_fine(target_url)

局限:如果Sucuri启用了无界面浏览器指纹检测规则,该方案会被识别拦截。

方案2:使用带指纹伪装的浏览器自动化工具

当内置渲染被识别时,可切换undetected-chromedriver、配置了反检测参数的playwright等工具,完全模拟真实用户的手动操作路径:

  • 不需要手动抓取API请求链接,直接从初始查询页开始操作:打开居留罚款查询入口,在输入框填入身份证件号,点击Enquire按钮,等待页面加载完成后直接提取DOM内容
  • 工具会自动完成Sucuri的JS校验、cookie携带、浏览器指纹上报全流程,请求特征和真实用户手动操作完全一致,基本不会触发拦截

方案3:手动复用校验参数实现轻量化请求

如果仅需单次/低频访问,可直接从通过校验的Chrome浏览器中提取参数,降低请求开销:

  • 打开Chrome开发者工具的Application面板,复制Sucuri校验通过后写入的专属cookie(通常为__swu、__ucf等字段)
  • 复制当前Chrome请求的完整请求头(包含User-Agent、sec-ch-ua系列、Accept等特征字段)
  • 将上述cookie和请求头直接填入python请求的headers中,即可直接请求目标API链接,不需要重复执行JS渲染流程

注意事项:

  • 不要使用python默认的请求头,这类特征会被Sucuri直接拦截
  • 不要频繁切换请求IP的归属地,IP异常跳变会触发更高等级的校验规则
  • 不要短时间内重复发起相同参数的请求,频率异常会被判定为机器人

内容的提问来源于stack exchange,提问作者YasserKhalil

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.06 04:45:04