Python Selenium调用javascript:__dopostback实现文件下载在部分网站失效的问题求助

我之前也碰到过类似的情况，同样是基于__doPostBack的下载按钮，有些网站就是会出现Headless模式下失效的问题。结合你的场景（Linux无图形界面+Chrome 88+Headless），大概率是下面几个被忽略的点导致的：

1. Headless模式的User-Agent被网站识别 #

默认的Headless Chrome的User-Agent会带有HeadlessChrome标识，很多网站会针对这个做特殊处理，甚至拒绝执行某些交互逻辑。而Fangraphs可能对这个兼容更好，NB Power的页面则做了限制。

解决方法：手动设置和普通Chrome一致的User-Agent：

options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36")

2. Headless模式下未配置下载目录与权限 #

在Headless模式下，Chrome不会弹出下载对话框，也不会使用默认的下载路径（尤其是无图形界面的Linux环境，默认路径可能没有读写权限）。如果没有显式配置下载目录，下载请求可能会被静默丢弃。

解决方法：添加下载偏好设置，指定有读写权限的目录：

import os

# 创建下载目录（如果不存在）
download_dir = "/home/your-user/downloads"
os.makedirs(download_dir, exist_ok=True)

# 配置Chrome下载偏好
options.add_experimental_option("prefs", {
    "download.default_directory": download_dir,
    "download.prompt_for_download": False,
    "download.directory_upgrade": True,
    "safebrowsing.enabled": True  # 避免安全拦截
})

同时，确保运行脚本的用户对这个目录有读写权限，避免权限不足导致下载失败。

3. NB Power页面需要前置参数选择 #

仔细看NB Power的目标页面，默认情况下是否有未选择的必填参数？比如日期范围、数据类型等。如果页面要求必须先选择某个选项才能触发下载，直接点击Get Data按钮其实不会触发__doPostBack的有效请求，而Fangraphs的按钮可能默认就有可导出的数据集。

解决方法：在点击按钮前，先完成页面的必要选择。比如检查页面上的下拉框或日期选择器，先设置好参数：

# 示例：假设页面有年份下拉框，先选择2023年
year_select = Select(WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "ctl00_cphMainContent_ddlYear"))))
year_select.select_by_value("2023")

# 等待参数加载完成后再点击按钮
time.sleep(1)  # 或者用WebDriverWait等待页面状态变化

4. Linux Headless模式的额外参数缺失 #

Linux环境下运行Chrome Headless需要额外的参数来规避权限和资源限制，否则可能导致JS执行异常或页面加载不完全。

解决方法：添加以下参数到ChromeOptions：

options.add_argument("--no-sandbox")
options.add_argument("--disable-dev-shm-usage")
options.add_argument("--disable-gpu")  # 无GPU环境下禁用GPU加速

5. 等待页面JS完全加载 #

有些页面的__doPostBack依赖于后续加载的JS脚本，单纯等待按钮可点击可能不够，需要确保页面的所有JS资源都加载完成。

解决方法：等待页面的document ready状态：

WebDriverWait(driver, 20).until(
    lambda d: d.execute_script('return document.readyState') == 'complete'
)

把这些调整整合到你的代码里，应该就能解决NB Power网站的下载问题了。

内容的提问来源于stack exchange，提问作者Sak