Python爬取内嵌JS网站时如何配置POST请求参数获取表格数据
爬取请求参数配置说明
你需要把WHATDATA配置为包含三类必选参数的字典,匹配页面JS暴露的表单结构和DataTables交互规范,参数配置正确后,响应会返回可直接被JSON解析的结构化表格数据,具体构成如下:
必选参数分类
1. 身份校验参数
- 从已用BeautifulSoup解析完成的当前页面提取CSRF反伪造令牌:定位class为
filter的表单元素,找到表单内name为__RequestVerificationToken的input标签的value值,作为对应字段传入参数。该参数和已登录的会话绑定,缺失会直接触发400错误或强制跳转登录页。
2. 业务筛选参数
匹配页面JS中暴露的所有过滤表单字段,填入已知的筛选值:
filter_Titolo_:填入已知的目标表格名称- 发布日期对应的过滤字段:按照页面表单的实际name格式(通用命名规则为
filter_日期对应字段名_)填入已知的目标发布日期 - 其余暂未明确值的过滤字段(
filter_Id_、filter_ExtKey_、filter_TipoPubblicazione_、filter_SheetName_)直接填空字符串即可
3. DataTables固定交互参数
该站点表格采用jQuery DataTables标准封装,请求携带这些参数后,后端才会返回结构化JSON而非HTML片段:
draw:请求计数标记,一般填1即可,后端会在响应中原样回显start:数据起始偏移量,爬取全量数据时可分页递增调整该值length:单页返回的数据条数,建议和网站默认单页条数保持一致,不要设置过大避免触发风控search[value]:全局搜索框的筛选内容,无特殊需求填空字符串即可order[0][column]:默认排序列,匹配JS中order: []的配置填空值即可
配置示例
WHATDATA = { # CSRF令牌,从已解析的页面HTML中提取 "__RequestVerificationToken": csrf_token_value, # 业务筛选值 "filter_Titolo_": "你的目标表格名称", "filter_目标日期字段名": "你的目标发布日期", "filter_Id_": "", "filter_ExtKey_": "", "filter_TipoPubblicazione_": "", "filter_SheetName_": "", # DataTables通用请求参数 "draw": 1, "start": 0, "length": 100, "search[value]": "", "order[0][column]": "", }
注意事项
- 区分接口返回类型:页面JS明确标注的
/BOBIBOBI/Public/Pubblicazioni/Detail接口是返回模态框HTML片段的,不是主表格JSON数据的来源接口,不要将该地址配置为SOURCE_URL - 所有请求需要复用登录时的
requests.Session对象,确保携带已认证的cookie,不要每次新建独立request实例 - 参数配置正确后发送请求,响应会返回标准DataTables格式的JSON结构,可直接通过
json.loads(r.content.decode("utf-8"))解析,无需对HTML做二次解析
内容的提问来源于stack exchange,提问作者Davide Tessarollo
相关产品推荐
相关产品推荐

