POST提交表单数据后如何获取网站返回的目标页面HTML源码

1. 先对齐浏览器真实请求的所有细节，避免请求参数不匹配 #

绝大多数拿不到正确响应的问题都是请求构造和浏览器真实行为不一致导致的，不要靠猜写请求参数：

• 打开浏览器开发者工具，切换到「网络」面板，勾选「保留日志」，手动在浏览器完成一次表单提交操作，找到返回目标页面的那条POST请求，逐项核对以下内容：
  • 请求URL是否完全一致，注意有没有漏路径后缀、查询参数
  • 提交的Content-Type和站点要求匹配：普通表单默认是application/x-www-form-urlencoded，带文件上传是multipart/form-data，部分站点要求JSON格式提交，不要统一默认传表单格式
  • 提交的字段不能缺漏：包括表单里的隐藏字段（比如CSRF校验token、页面生成的随机签名）、前置请求种下的Cookie——很多站点会校验请求必须先访问表单页拿到合法token和会话Cookie，才能提交表单，直接跳过这步发POST会直接被拦截
  • 必要请求头要带上：最常见的是Referer（站点会校验请求来源是不是自身的表单页面）、User-Agent不要用requests默认的标识，替换成浏览器真实UA
• 写代码时优先用会话对象维持Cookie，不要手动零散传参，同时开启自动重定向：很多站点提交表单后会返回302状态码跳转到结果页，关闭自动重定向的话拿到的只是跳转响应，不是最终页面的HTML。

参考基础实现代码：

import requests
from bs4 import BeautifulSoup

# 初始化会话，自动维持所有请求的Cookie
session = requests.Session()
common_headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
}

# 先访问表单页面，获取会话Cookie和页面内的隐藏字段
form_resp = session.get("https://目标站点.com/entry/form", headers=common_headers)
form_resp.raise_for_status()
soup = BeautifulSoup(form_resp.text, "html.parser")

# 提取表单里的隐藏字段，比如CSRF token
csrf_token = soup.select_one("input[name='csrfmiddlewaretoken']")["value"]

# 构造和浏览器完全一致的提交参数
submit_data = {
    "search_keyword": "你要提交的查询内容",
    "csrfmiddlewaretoken": csrf_token
}

# 发送POST请求，带上Referer头，开启自动重定向
result_resp = session.post(
    url="https://目标站点.com/api/submit",
    data=submit_data, # 如果是JSON提交就替换为 json=submit_data
    headers={**common_headers, "Referer": "https://目标站点.com/entry/form"},
    allow_redirects=True
)
result_resp.encoding = result_resp.apparent_encoding # 自动识别编码避免乱码
print(result_resp.text) # 此处输出的就是最终响应内容

2. 处理前端动态渲染/JS跳转场景 #

如果核对完所有请求参数，返回的内容还是一段简短的JS代码、空白页，说明目标页面不是POST请求直接返回的：站点会先返回一段JS，由浏览器执行后完成跳转、或者拉取最终数据渲染页面，纯HTTP请求库不会执行JS，自然拿不到最终内容。

• 轻量场景可以直接分析返回的JS逻辑，找到JS里写死的跳转地址、或者后续拉取数据的接口，补写对应请求即可
• 复杂场景直接用可模拟浏览器执行JS的自动化工具，不用逐行抠JS逻辑，比如Playwright、Selenium，模拟人工打开页面、填表单、提交，等页面完全加载后直接取渲染完成的HTML即可。

参考Playwright实现代码：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动无头浏览器
    browser = p.chromium.launch(headless=True)
    page = browser.new_page(
        user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36"
    )
    # 打开表单页面
    page.goto("https://目标站点.com/entry/form")
    # 填充表单字段
    page.fill("input[name='search_keyword']", "你要提交的查询内容")
    # 点击提交按钮
    page.click("button[type='submit']")
    # 等待目标内容加载完成，避免取到未渲染的空白页
    page.wait_for_selector(".result-content")
    # 获取渲染完成的完整HTML
    target_html = page.content()
    print(target_html)
    browser.close()

3. 排查反爬拦截 #

如果以上操作完成后还是拿不到正确内容，先看响应状态码：如果返回403、429、5xx状态，或者内容是验证码、人机校验提示页，说明被站点反爬策略识别了：

• 先降低请求频率，不要短时间内发起大量重复请求
• requests库的TLS指纹和真实浏览器差异较大，容易被高级反爬识别，可以替换为curl_cffi库模拟真实浏览器的TLS指纹发请求
• 如果触发了验证码、人机校验，先手动完成校验拿到合法的会话Cookie，再放到代码里使用即可

内容的提问来源于stack exchange，提问作者Leteps