Python/Postman请求无法复现浏览器行为，求排查解决思路

可能的检测维度 #

1. 请求头顺序与隐式字段 #

浏览器发送请求时，请求头有固定顺序（比如User-Agent通常排在最前），而requests或Postman可能打乱顺序。部分网站会校验头的顺序，或检查浏览器自动添加的隐式字段（比如DNT、Sec-Ch-Ua系列头，Firefox 133会自动发送这些）。

2. 动态生成的请求参数/Token #

不少网站通过前端JS生成动态参数，包括：

• 动态CSRF Token（而非你手动复制的静态值）
• 请求体中的签名字段（基于当前时间、Cookie生成的哈希）
• Sec-Fetch-*头的取值偏差（比如你代码里的Sec-Fetch-Mode: no-cors和浏览器Fetch默认的cors不符）

3. Cookie的动态验证 #

你复制的Cookie可能包含需要JS环境验证的字段（比如__Secure-*开头的Cookie），或Cookie的expires、domain属性与脚本请求环境不匹配，导致服务器拒绝。

4. HTTP/2特性差异 #

浏览器默认使用HTTP/2，而curl_cffi或Postman可能默认用HTTP/1.1，或HTTP/2的帧结构、设置项与浏览器不一致，被服务器检测到。

5. 请求体编码细节 #

浏览器发送JSON时会自动设置正确的Content-Length，且无额外换行/空格。如果你的payload是手动拼接的字符串，可能存在格式错误（比如多余空格、引号转义错误）。

调试步骤 #

• 用mitmproxy逐字节对比请求
  配置mitmproxy同时捕获浏览器和Python脚本的请求，对比：

  • 请求头的顺序、大小写、字段值
  • 请求体的编码、长度
  • HTTP版本及协议细节
    命令示例：mitmproxy --listen-port 8080，脚本和浏览器均设置代理为http://localhost:8080

• 简化浏览器请求定位关键字段
  在浏览器控制台用Fetch发送最小化请求，逐步移除字段，找到服务器检测的关键项：

  fetch('https://www.WEBSITE.com/api/submit', {
    method: 'POST',
    headers: {
      'Content-Type': 'application/json',
      'Cookie': '你的Cookie'
    },
    body: JSON.stringify(你的payload)
  }).then(res => res.text()).then(console.log)
  

• 验证Cookie时效性
  复制Cookie后立即测试，避免过期或服务器刷新会话；检查Cookie的HttpOnly、Secure属性是否与脚本请求环境匹配（比如脚本是否在HTTPS环境下发送请求）。

解决建议 #

1. 严格匹配请求头顺序与字段 #

保持和浏览器完全一致的头顺序，补充浏览器自动发送的字段：

from curl_cffi import requests as cffi_requests, Curl, CurlOpt
from collections import OrderedDict

session = cffi_requests.Session(impersonate="firefox133")

headers = OrderedDict([
    ('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:133.0) Gecko/20100101 Firefox/133.0'),
    ('Sec-Ch-Ua', '"Not/A)Brand";v="8", "Chromium";v="133", "Firefox";v="133"'),
    ('Sec-Ch-Ua-Mobile', '?0'),
    ('Sec-Ch-Ua-Platform', '"Windows"'),
    ('Accept', '*/*'),
    ('Accept-Language', 'en-US,en;q=0.5'),
    ('Accept-Encoding', 'gzip, deflate, br, zstd'),
    ('Referer', 'https://www.WEBSITE.com/build'),
    ('Content-Type', 'application/json'),
    ('X-CSRF-Protection', '1'),
    ('Origin', 'https://www.WEBSITE.com'),
    ('DNT', '1'),
    ('Connection', 'keep-alive'),
    ('Cookie', 'COOKIE_STRING_FROM_BROWSER_REQUEST'),
    ('Sec-Fetch-Dest', 'empty'),
    ('Sec-Fetch-Mode', 'cors'),  # 修正为浏览器Fetch默认值
    ('Sec-Fetch-Site', 'same-origin'),
    ('Priority', 'u=0'),
    ('TE', 'trailers'),
    ('Pragma', 'no-cache'),
    ('Cache-Control', 'no-cache')
])

session.headers = headers

2. 正确处理请求体 #

避免手动拼接JSON，用json参数让curl_cffi自动处理编码和Content-Length：

url = "https://www.WEBSITE.com/api/submit"
payload = {"key": "value"}  # 直接使用字典格式
response = session.post(url, json=payload)

3. 强制启用HTTP/2 #

匹配浏览器的协议版本：

# 强制使用HTTP/2
session.curl.setopt(CurlOpt.HTTP_VERSION, CurlOpt.CURL_HTTP_VERSION_2TLS)

4. 用真实浏览器自动化 #

如果以上方法无效，改用playwright直接控制浏览器发送请求，完全模拟浏览器环境：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.firefox.launch()
    page = browser.new_page()
    page.goto("https://www.WEBSITE.com/build")
    # 确保页面加载完成、Cookie已初始化
    response = page.request.post(
        "https://www.WEBSITE.com/api/submit",
        headers=headers,
        json=payload
    )
    print(response.text())
    browser.close()

5. 复刻动态参数生成逻辑 #

用浏览器开发者工具的断点功能，跟踪前端JS生成的动态参数（比如签名、Token），在脚本中复刻对应的生成逻辑。

内容的提问来源于stack exchange，提问作者Sviatoslav