动态页面下拉菜单爬取求助：BeautifulSoup无法获取实时尺寸选项

最佳解决方案 #

你推测的动态加载问题是对的——BeautifulSoup只能解析静态HTML，无法处理JavaScript渲染的动态内容。针对这个问题，有两种成熟的解决思路：

1. 模拟浏览器渲染（通用方案） #

使用Selenium或Playwright这类工具模拟真实浏览器行为，等待页面动态内容加载完成后再抓取HTML。以Selenium为例，修改后的代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup

url = "https://www.hayabusafightwear.co.uk/hayabusa-lightweight-jiu-jitsu-gi-blue"
# 初始化Chrome驱动（需提前安装对应版本的chromedriver）
driver = webdriver.Chrome()
driver.get(url)

# 等待尺寸下拉菜单加载完成，超时时间10秒
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME, "super-attribute-select")))

# 获取渲染后的完整页面HTML
page_html = driver.page_source
soup = BeautifulSoup(page_html, 'html.parser')
attrs = soup.find("select", {"class":"required-entry super-attribute-select"}).find_all("option")

# 输出所有尺寸选项
for option in attrs:
    print(f"尺寸: {option.text}, 值: {option.get('value')}")

driver.quit()

2. 直接调用后端API（高效方案） #

打开浏览器开发者工具（F12），切换到Network标签，刷新页面后筛选XHR/Fetch请求，找到加载尺寸数据的API接口。直接请求该接口即可获取结构化的JSON数据，无需渲染整个页面，效率更高。这类电商网站通常会在页面加载时请求包含产品规格（如尺寸）的接口，返回的数据可以直接提取使用。

是否值得继续尝试 #

完全值得。该页面的尺寸数据属于公开可访问的内容，只要遵循合理的爬取规则（控制请求频率，避免频繁访问给服务器造成负担），就能顺利获取所需数据。两种方案各有优势：API调用效率更高，适合批量爬取；模拟浏览器更通用，能应对复杂的动态渲染场景。

内容的提问来源于stack exchange，提问作者Ibrahim Harrane