You need to enable JavaScript to run this app. Python requests库POST请求不工作:登录后提交搜索表单爬取失败
优惠活动
大模型
产品
解决方案
定价
更多

Python requests库POST请求不工作:登录后提交搜索表单爬取失败

表单提交失效的调整方案

逐一修正参数问题即可正常触发搜索逻辑

  • 跨页面复用旧CSRF Token导致校验拦截
    你目前在第二步沿用的是登录页拿到的旧csrf值,但从第二步返回的响应头能看到,服务器在收到你的POST请求时重新下发了新的csrftoken Cookie,说明旧token已经失效。执行第二步提交前,需要先对companysearch_URL发一次GET请求,从搜索页的HTML源码里提取当前表单对应的最新csrfmiddlewaretoken值,替换掉payload里的旧token。
  • 漏填表单必填的隐藏字段
    你提供的表单源码里存在name="honeypot"的隐藏输入框,这是站点设置的爬虫蜜罐校验点:正常浏览器提交时该字段为空,但如果请求里完全不带这个字段,服务端会直接判定为爬虫请求,跳过耗时的实际查询流程,直接返回搜索首页,这也是你这边请求1秒就结束、浏览器操作需要30秒的核心原因。构造第二步的payload时必须加上这个字段,取值设为空字符串即可。
  • 缺少请求来源校验头
    多数基于Django搭建的站点会开启Referer校验,若POST请求不带和当前页面一致的Referer头,会被CSRF中间件直接拦截,不触发后端真实查询逻辑。发POST请求时要手动加上请求头,把Referer的值设为companysearch_URL本身。

调整后的代码片段

import re
# 先访问搜索页,获取最新的CSRF值
search_page = client.get(companysearch_URL)
# 从页面源码匹配提取最新的表单token
new_token = re.search(r'name="csrfmiddlewaretoken" value="(.*?)"', search_page.text).group(1)

# 构造完整的提交参数
payload = {
    'csrfmiddlewaretoken': new_token,
    'company_symbols': 'NVDA',
    'honeypot': ''
}

# 补充和浏览器一致的请求头
post_headers = {
    'Referer': companysearch_URL
}

# 发起提交请求
search_result = client.post(
    companysearch_URL,
    data=payload,
    headers=post_headers
)

如果调整后请求耗时还是远低于30秒,可继续核对请求头中的User-Agent、Accept字段和浏览器实际发送的内容是否一致,替换掉requests默认的请求头,避免被反爬规则识别。

内容的提问来源于stack exchange,提问作者ABC

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 16:36:02