You need to enable JavaScript to run this app. Python爬取内嵌JS网站时如何配置POST请求参数获取表格数据
优惠活动
大模型
产品
解决方案
定价
更多

Python爬取内嵌JS网站时如何配置POST请求参数获取表格数据

爬取请求参数配置说明

你需要把WHATDATA配置为包含三类必选参数的字典,匹配页面JS暴露的表单结构和DataTables交互规范,参数配置正确后,响应会返回可直接被JSON解析的结构化表格数据,具体构成如下:

必选参数分类

1. 身份校验参数

  • 从已用BeautifulSoup解析完成的当前页面提取CSRF反伪造令牌:定位class为filter的表单元素,找到表单内name为__RequestVerificationToken的input标签的value值,作为对应字段传入参数。该参数和已登录的会话绑定,缺失会直接触发400错误或强制跳转登录页。

2. 业务筛选参数

匹配页面JS中暴露的所有过滤表单字段,填入已知的筛选值:

  • filter_Titolo_:填入已知的目标表格名称
  • 发布日期对应的过滤字段:按照页面表单的实际name格式(通用命名规则为filter_日期对应字段名_)填入已知的目标发布日期
  • 其余暂未明确值的过滤字段(filter_Id_、filter_ExtKey_、filter_TipoPubblicazione_、filter_SheetName_)直接填空字符串即可

3. DataTables固定交互参数

该站点表格采用jQuery DataTables标准封装,请求携带这些参数后,后端才会返回结构化JSON而非HTML片段:

  • draw:请求计数标记,一般填1即可,后端会在响应中原样回显
  • start:数据起始偏移量,爬取全量数据时可分页递增调整该值
  • length:单页返回的数据条数,建议和网站默认单页条数保持一致,不要设置过大避免触发风控
  • search[value]:全局搜索框的筛选内容,无特殊需求填空字符串即可
  • order[0][column]:默认排序列,匹配JS中order: []的配置填空值即可

配置示例

WHATDATA = {
    # CSRF令牌,从已解析的页面HTML中提取
    "__RequestVerificationToken": csrf_token_value,
    # 业务筛选值
    "filter_Titolo_": "你的目标表格名称",
    "filter_目标日期字段名": "你的目标发布日期",
    "filter_Id_": "",
    "filter_ExtKey_": "",
    "filter_TipoPubblicazione_": "",
    "filter_SheetName_": "",
    # DataTables通用请求参数
    "draw": 1,
    "start": 0,
    "length": 100,
    "search[value]": "",
    "order[0][column]": "",
}

注意事项

  • 区分接口返回类型:页面JS明确标注的/BOBIBOBI/Public/Pubblicazioni/Detail接口是返回模态框HTML片段的,不是主表格JSON数据的来源接口,不要将该地址配置为SOURCE_URL
  • 所有请求需要复用登录时的requests.Session对象,确保携带已认证的cookie,不要每次新建独立request实例
  • 参数配置正确后发送请求,响应会返回标准DataTables格式的JSON结构,可直接通过json.loads(r.content.decode("utf-8"))解析,无需对HTML做二次解析

内容的提问来源于stack exchange,提问作者Davide Tessarollo

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.05 14:24:04