使用BeautifulSoup爬取SET市场DELTA股票价格返回None的问题排查

1. 核心原因：页面动态渲染 #

你用requests.get()拿到的是服务器返回的初始静态HTML，但目标价格元素是通过JavaScript动态加载出来的，所以初始响应里根本找不到对应的class和元素——这才是返回None的关键，和BeautifulSoup的使用关系不大。

2. 次要细节：BeautifulSoup的参数写法修正 #

你的代码里find方法的class参数字典写法有误，应该用冒号分隔键值对：

price = soup.find('h1', {'class': 'value text-white mb-0 me-2 lh-1'})

不过这个问题在当前场景下不影响结果，因为响应里本来就没有这个元素。

3. 可行解决方案 #

方案一：用浏览器渲染工具（Selenium） #

模拟真实浏览器加载页面，等JS渲染完成后再提取内容：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = 'https://www.set.or.th/en/market/product/stock/quote/DELTA/price'
driver = webdriver.Chrome()  # 需提前安装ChromeDriver并配置环境变量
driver.get(url)

# 等待目标元素加载完成
try:
    price_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'value'))
    )
    print(price_element.text)
finally:
    driver.quit()

方案二：直接调用API接口 #

打开浏览器F12开发者工具，切换到Network标签页，刷新页面后筛选XHR/Fetch请求，找到返回股票价格的API接口。直接请求API比渲染页面更高效，SET官网通常有公开的股票数据接口。

4. 额外提示 #

• 爬取前先看网站的robots.txt文件，确认是否允许爬取相关内容。
• 频繁请求容易被封IP，建议添加User-Agent请求头，设置合理的请求间隔。

内容的提问来源于stack exchange，提问作者www