Python网页自动化开发遇动态表单token硬编码失效问题求助

• 优先使用全局持久化会话承载所有请求
  放弃零散调用requests.get()/requests.post()的写法，全局初始化Session实例，所有请求统一通过该实例发送，自动同步维护跨请求的cookie、会话上下文，避免出现“刚提取的token因为会话不匹配被服务端判定无效”的问题。示例初始化代码：

  import requests
  from bs4 import BeautifulSoup
  # 全局唯一的会话实例，从访问网站首页的第一步就初始化
  client = requests.Session()
  # 初始化浏览器请求头，避免被基础反爬拦截
  client.headers.update({
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
  })
  

• 在业务流程的前置节点实时提取动态参数，彻底替代硬编码
  所有服务端下发的动态校验参数，本质上都会在当前会话的前置页面响应中返回，不需要无依据猜测：
  • 登录环节的动态token：请求登录页时，从返回的HTML源码中定位提取。如果token放在隐藏表单域里，直接用BeautifulSoup定位标签取值即可；如果token内嵌在页面的JS全局变量中，用正则匹配对应变量的赋值结果即可。示例代码：

    # 第一步：先请求登录页，获取带token的页面内容
    login_page = client.get("目标网站登录页URL")
    soup = BeautifulSoup(login_page.text, "html.parser")
    # 从隐藏表单域提取登录校验token
    login_csrf_token = soup.find("input", attrs={"type": "hidden", "name": "csrf_token"})["value"]
    # 把提取到的token拼到登录请求的payload里，发送登录请求
    login_payload = {
        "username": "你的账号",
        "password": "你的密码",
        "csrf_token": login_csrf_token
    }
    client.post("目标网站登录提交URL", data=login_payload)
    

  • 商品加购的专属动态编码：每次执行加购操作前，先请求对应商品的详情页，从返回的页面内容中提取该商品专属的编码值。每个商品的编码独立提取，不要跨页面、跨商品复用旧的编码值。示例代码：

    # 访问目标商品的详情页
    item_page = client.get("目标商品详情页URL")
    item_soup = BeautifulSoup(item_page.text, "html.parser")
    # 从加购按钮的data属性中提取商品专属加购编码
    item_add_cart_code = item_soup.find("button", class_="add-to-cart-btn")["data-item-code"]
    # 拼接加购请求payload，发送加购请求
    add_cart_payload = {
        "item_code": item_add_cart_code
    }
    client.post("目标网站加购提交URL", data=add_cart_payload)
    

• 落地避坑要点
  • 不要把参数提取步骤放在流程最开头一次性抓完，要把提取动作绑定到对应的请求节点前置位置：比如发登录请求前再抓登录token，发加购请求前再抓对应商品的编码，避免参数过期。
  • 所有POST请求的请求头要补充Referer字段，填写上一步访问的页面URL（比如登录请求的Referer填登录页URL，加购请求的Referer填商品详情页URL），匹配服务端的请求来源校验规则。
  • 如果遇到参数是前端JS计算生成、不在初始HTML源码中的情况，初期开发阶段不要硬啃JS逆向逻辑，可以先用无头浏览器工具渲染页面后提取参数，跑通全流程后再做性能优化。

内容的提问来源于stack exchange，提问作者SL2700