如何解决Python requests获取页面时下载按钮延迟加载的问题？

阿华AIGC实验室

2026-5-13

搞定动态加载的下载按钮爬取问题

兄弟，你猜的没错——requests确实搞不定这种场景！因为requests只是个静态HTTP请求工具，它只会从服务器拿到页面的初始HTML源码，根本不会执行页面里的JavaScript代码。那个要等5秒才显示的下载按钮，大概率是页面加载完成后通过JS动态渲染出来的，所以你用requests.get()拿到的response里自然找不到它，更别说“刷新”response或者等5秒更新内容了——requests本身就没有处理动态渲染的能力。

不过别慌，给你两个适合新手的解决方案，都能模拟浏览器的行为，轻松拿到动态加载的下载链接：

方案一：用Selenium模拟浏览器（新手友好，调试直观）

Selenium可以完全模拟真实浏览器的操作，包括等待JS加载、点击元素这些，而且能看到浏览器窗口的操作过程，调试起来特别方便。

操作步骤：

先安装Selenium：

pip install selenium

下载对应浏览器的驱动（比如你用Chrome的话，就下载ChromeDriver），注意驱动版本要和你的浏览器版本匹配，然后把驱动放到系统PATH里，或者在代码里指定它的路径。
示例代码（拿Chrome举例）：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Chrome浏览器
driver = webdriver.Chrome()

try:
    # 打开目标页面
    driver.get("你的目标网页URL")
    
    # 等待下载按钮出现，最多等10秒（比5秒多留些余量，防止网络慢）
    # 这里需要把"下载按钮的CSS选择器"换成实际的，比如按钮的class、id或者CSS路径，用浏览器开发者工具就能查到
    download_button = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "下载按钮的CSS选择器"))
    )
    
    # 如果按钮直接带href下载链接，就这么拿
    download_url = download_button.get_attribute("href")
    print(f"拿到下载链接：{download_url}")
    
    # 如果需要点击按钮触发下载，就用下面这行
    # download_button.click()
    
finally:
    # 用完记得关闭浏览器
    driver.quit()

方案二：用Playwright（更现代，无需手动装驱动）

Playwright是微软出的自动化工具，比Selenium更轻量化，而且安装后会自动下载浏览器驱动，不用你手动找版本匹配的驱动，也很适合新手。

操作步骤：

安装Playwright：

pip install playwright
playwright install  # 这一步会自动下载需要的浏览器驱动

示例代码：

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # 启动Chrome浏览器，headless=False可以看到窗口，调试用；上线可以改成True
    browser = p.chromium.launch(headless=False)
    page = browser.new_page()
    
    # 打开目标页面
    page.goto("你的目标网页URL")
    
    # 等待下载按钮出现，最多等10秒
    page.wait_for_selector("下载按钮的CSS选择器", timeout=10000)
    
    # 获取下载链接
    download_url = page.get_attribute("下载按钮的CSS选择器", "href")
    print(f"拿到下载链接：{download_url}")
    
    # 关闭浏览器
    browser.close()