BeautifulSoup无法找到指定class 爬取mut.gg站点价格返回空值

你要抓取的价格数据为客户端JavaScript动态渲染生成，requests库仅能获取页面初始静态HTML源码，此时负责加载价格数据的JS脚本尚未执行，所以不存在对应div节点，BeautifulSoup无法定位到目标元素。部分站点还会对默认的requests请求头做反爬拦截，返回的是不包含完整数据的空白页面或者验证页面。

• 优先抓取后端接口数据：打开浏览器开发者工具的「网络」面板，筛选Fetch/XHR类型请求，刷新页面后查找返回价格数据的后端接口，直接用requests请求该接口获取结构化JSON数据，请求时携带正常的User-Agent请求头模拟浏览器访问，该方案执行效率最高，无需解析前端页面。
• 若接口加密无法直接抓取，可使用无头浏览器模拟真实浏览器加载流程：使用Selenium、Playwright等工具启动浏览器，等待页面JS执行完成、目标元素渲染完成后再提取内容，Selenium参考代码如下：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 替换为你要爬取的页面地址
URL = "目标页面地址"
# 启动无头Chrome
options = webdriver.ChromeOptions()
options.add_argument("--headless=new")
# 模拟正常UA避免反爬
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
driver = webdriver.Chrome(options=options)

driver.get(URL)
# 等待目标元素加载完成，最多等待10秒
wait = WebDriverWait(driver, 10)
price_ele = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "div.fs-3.fw-700.text-orange")))
print(price_ele.text)
driver.quit()

内容的提问来源于stack exchange，提问作者Gobroncos671