Python+BeautifulSoup网页爬取：点击按钮下载文件遇问题求助

为什么BeautifulSoup找不到下载按钮？ #

• 动态内容渲染：你用requests获取的是服务器返回的初始HTML，该网站的下载按钮、图表数据都是通过前端JavaScript动态生成并加载的，初始响应里根本没有这部分代码，所以BeautifulSoup自然找不到目标元素。
• 动态生成的类名：你使用的Button__StyledButton-sc-1tdgwi0-2 jrAJxm这类类名，是Styled Components这类CSS-in-JS工具自动生成的，每次页面加载可能都会变化，就算能拿到渲染后的HTML，用这个类名定位元素也不靠谱。

是否需要改用Selenium？ #

是的，有两种可行方案：

方案1：用Selenium模拟点击下载 #

Selenium会启动真实浏览器，执行页面JavaScript，等元素渲染完成后再操作。示例代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()
driver.get('https://www.cboe.com/us/indices/dashboard/vxtlt/')

# 等待下载按钮加载完成，优先用语义化属性定位，避免依赖动态类名
try:
    download_btn = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, "//button[contains(text(), 'Download')]"))
    )
    download_btn.click()
    time.sleep(5) # 等待下载完成
finally:
    driver.quit()

方案2：直接抓取数据API（更高效） #

打开浏览器开发者工具（F12），切换到「网络」标签，刷新页面后查找加载CSV数据的API请求。通常这类数据会以JSON或CSV格式返回，直接用requests请求这个API就能拿到时间序列数据，不用模拟浏览器，速度更快也更稳定。可以重点关注包含vxtlt或history关键词的请求，查看响应内容确认是否为目标数据。

内容的提问来源于stack exchange，提问作者Charlie_03