Python爬取ASP.NET页面时触发500错误，异步回发请求失败

看起来你遇到的是ASP.NET异步回发（AJAX Postback）的经典坑，我之前爬类似的企业内部ASP.NET系统也踩过一模一样的问题，给你几个可行的解决方向：

1. 补全异步回发所需的请求头和表单字段 #

ASP.NET的异步回发是由ScriptManager控件处理的，它对请求的格式有严格要求，你看到的500错误就是因为请求缺少了关键标识，让服务器误以为这不是合法的异步请求。

你需要检查并补充这些内容：

• 必要请求头：
  必须带上X-Requested-With: XMLHttpRequest，这个头部是告诉服务器这是一个AJAX异步请求；同时要确保Content-Type设为application/x-www-form-urlencoded; charset=UTF-8，还要带上当前页面的Referer头（比如你切换周之前的页面URL），ASP.NET会验证请求来源。
• ASP.NET隐藏表单字段：
  登录后的页面里会包含几个关键的隐藏字段，比如__VIEWSTATE、__VIEWSTATEGENERATOR、__EVENTVALIDATION，这些是ASP.NET用来维护页面状态的，必须在POST请求里一并提交。你需要在第一次获取当前周数据时，解析HTML页面提取这些字段的值，然后在切换周的POST请求里加上。
• 异步回发的事件标识：
  还要确认POST参数里包含__EVENTTARGET和__EVENTARGUMENT，这两个字段用来告诉服务器触发哪个控件的事件。比如你在浏览器里看到的切换到“Specific Date”的操作，对应的__EVENTTARGET可能是类似ctl00$ContentPlaceHolder1$YourDatePickerControl这样的控件ID，__EVENTARGUMENT则是对应的事件参数（比如日期值的编码）。

2. 用Selenium无头模式兜底（完全兼容服务器环境） #

如果手动模拟异步回发太繁琐，Selenium确实是个省心的选择，而且完全可以在无头服务器上运行，不需要X环境：

• 你可以用Chrome或Firefox的无头模式，比如Chrome的--headless=new参数，只需要在服务器上安装对应的浏览器（比如Chrome的无头版本chromium-browser）和驱动（chromedriver）。
• 简单的代码示例大概是这样：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 配置无头模式
chrome_options = Options()
chrome_options.add_argument("--headless=new")
chrome_options.add_argument("--no-sandbox")  # 服务器环境需要加这个参数
chrome_options.add_argument("--disable-dev-shm-usage")

driver = webdriver.Chrome(options=chrome_options)

# 模拟登录、切换周的操作
driver.get("你的排班系统登录URL")
# 填写用户名密码，提交登录
driver.find_element("id", "username").send_keys("你的账号")
driver.find_element("id", "password").send_keys("你的密码")
driver.find_element("id", "loginBtn").click()

# 找到切换到下周的按钮或日期选择控件，触发操作
driver.find_element("id", "切换周的控件ID").click()

# 获取更新后的页面数据
page_source = driver.page_source
# 解析page_source提取排班数据

driver.quit()

这种方式会完全模拟浏览器的行为，自动处理JS渲染、异步回发、状态字段这些问题，不用你手动拼请求参数。

最后检查点 #

先确认你的POST请求是否带上了登录后的完整Cookie（比如ASP.NET_SessionId），如果Cookie过期或者不完整，也可能触发服务器的错误。

先试试补全请求头和字段的方法，要是还是搞不定，直接上Selenium无头模式就行，服务器环境完全支持的。

备注：内容来源于stack exchange，提问作者Austin Leydecker