Python如何自动下载需额外点击、含__doPostBack的ASP站点文件

完全可以通过Python实现该场景下的自动文件下载，核心是模拟点击下载按钮触发的后端请求逻辑，两种常用实现思路如下：

思路1：纯Requests模拟POST请求（无浏览器依赖，性能更高） #

javascript:__doPostBack是ASP.NET WebForm的标准提交逻辑，本质是向当前页面提交带指定参数的表单请求，无需获取真实文件地址也能完成下载，实现步骤：

• 第一步：先发送GET请求访问初始下载页面，解析响应内容获取页面内所有隐藏表单字段（__VIEWSTATE、__VIEWSTATEGENERATOR、__EVENTVALIDATION等）的取值，同时保留请求返回的Cookies
• 第二步：构造POST请求的表单参数，其中__EVENTTARGET固定填按钮触发参数linkButton，__EVENTARGUMENT留空，其余所有隐藏字段的取值原样带入
• 第三步：携带第一步获取的Cookies，向当前页面URL发送POST请求，响应体即为目标文件的二进制流，直接写入本地文件即可

示例代码：

import requests
from bs4 import BeautifulSoup

# 初始下载页面地址
url = "http://www.gims.houstontx.gov/gims/DownloadFile.aspx?fileName=storm_5357"
session = requests.Session()

# 第一步：GET请求获取页面参数和Cookies
resp = session.get(url)
soup = BeautifulSoup(resp.text, "html.parser")

# 提取所有隐藏表单字段
form_data = {}
for input_tag in soup.find_all("input", type="hidden"):
    form_data[input_tag.get("name")] = input_tag.get("value", "")

# 补充PostBack参数
form_data["__EVENTTARGET"] = "linkButton"
form_data["__EVENTARGUMENT"] = ""

# 第二步：发送POST请求获取文件
file_resp = session.post(url, data=form_data)

# 保存文件
with open("storm_5357.zip", "wb") as f:
    f.write(file_resp.content)

注：如果安装BeautifulSoup有困难，也可以用正则表达式提取隐藏字段的取值

思路2：浏览器自动化工具实现（无需分析表单逻辑，适配性更强） #

如果页面前端逻辑复杂、不想花时间解析表单参数，可以直接用Selenium模拟人工点击操作，步骤：

• 安装Selenium库及对应浏览器的WebDriver，推荐使用Chrome无头模式不弹出可视化窗口
• 调用浏览器访问初始下载地址，等待页面元素加载完成
• 定位到下载按钮，执行点击操作
• 提前配置浏览器默认下载路径，等待文件下载完成后关闭浏览器即可

示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time

# 配置Chrome无头模式和下载路径
chrome_options = Options()
chrome_options.add_argument("--headless=new")
prefs = {"download.default_directory": "你本地的下载路径"}
chrome_options.add_experimental_option("prefs", prefs)

driver = webdriver.Chrome(options=chrome_options)
# 访问初始下载页
driver.get("http://www.gims.houstontx.gov/gims/DownloadFile.aspx?fileName=storm_5357")
# 等待页面加载
time.sleep(2)
# 点击下载按钮
driver.find_element(By.ID, "linkButton").click()
# 等待下载完成
time.sleep(10)
driver.quit()

内容的提问来源于stack exchange，提问作者MathX