Python requests库POST请求不工作:登录后提交搜索表单爬取失败
表单提交失效的调整方案
逐一修正参数问题即可正常触发搜索逻辑
- 跨页面复用旧CSRF Token导致校验拦截
你目前在第二步沿用的是登录页拿到的旧csrf值,但从第二步返回的响应头能看到,服务器在收到你的POST请求时重新下发了新的csrftokenCookie,说明旧token已经失效。执行第二步提交前,需要先对companysearch_URL发一次GET请求,从搜索页的HTML源码里提取当前表单对应的最新csrfmiddlewaretoken值,替换掉payload里的旧token。 - 漏填表单必填的隐藏字段
你提供的表单源码里存在name="honeypot"的隐藏输入框,这是站点设置的爬虫蜜罐校验点:正常浏览器提交时该字段为空,但如果请求里完全不带这个字段,服务端会直接判定为爬虫请求,跳过耗时的实际查询流程,直接返回搜索首页,这也是你这边请求1秒就结束、浏览器操作需要30秒的核心原因。构造第二步的payload时必须加上这个字段,取值设为空字符串即可。 - 缺少请求来源校验头
多数基于Django搭建的站点会开启Referer校验,若POST请求不带和当前页面一致的Referer头,会被CSRF中间件直接拦截,不触发后端真实查询逻辑。发POST请求时要手动加上请求头,把Referer的值设为companysearch_URL本身。
调整后的代码片段
import re # 先访问搜索页,获取最新的CSRF值 search_page = client.get(companysearch_URL) # 从页面源码匹配提取最新的表单token new_token = re.search(r'name="csrfmiddlewaretoken" value="(.*?)"', search_page.text).group(1) # 构造完整的提交参数 payload = { 'csrfmiddlewaretoken': new_token, 'company_symbols': 'NVDA', 'honeypot': '' } # 补充和浏览器一致的请求头 post_headers = { 'Referer': companysearch_URL } # 发起提交请求 search_result = client.post( companysearch_URL, data=payload, headers=post_headers )
如果调整后请求耗时还是远低于30秒,可继续核对请求头中的
User-Agent、Accept字段和浏览器实际发送的内容是否一致,替换掉requests默认的请求头,避免被反爬规则识别。
内容的提问来源于stack exchange,提问作者ABC
相关产品推荐
相关产品推荐

