使用Selenium解析SPA网站时无法获取元素值与属性

核心问题原因 #

1. 页面异步渲染未完成：SPA依赖JS动态加载内容，browser.get(url)仅完成初始页面加载，目标元素的文本还没被JS渲染填充，此时虽能定位到元素对象，但内容为空。
2. Headless模式窗口过小：默认Headless模式的浏览器窗口尺寸极小，目标元素可能因不可见导致elem.text返回空（Selenium的text属性仅返回可见元素的文本）。
3. 属性获取方式错误：你调用get_attribute('session')和get_attribute('element')是错误的，这两个是Selenium WebElement的内部标识，并非HTML元素的属性，自然返回None。

解决步骤 #

1. 添加显式等待，确保元素内容加载完成 #

不要直接定位元素，而是等待元素的文本或目标属性加载完成，避免异步加载导致的内容缺失：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 替换原有的elem定位代码，等待元素出现
elem = WebDriverWait(browser, 10).until(
    EC.presence_of_element_located((By.CLASS_NAME, 'draggableHandle'))
)
# 或者更严格：等待元素文本非空
elem = WebDriverWait(browser, 10).until(
    lambda x: x.find_element(By.CLASS_NAME, 'draggableHandle').text.strip() != ''
)

2. 调整Headless窗口尺寸 #

设置正常的窗口大小，确保元素处于可见状态：

opts = webdriver.ChromeOptions()
opts.add_argument('headless')
opts.add_argument('window-size=1920x1080')  # 添加窗口尺寸参数
browser = webdriver.Chrome(options=opts, executable_path=chromedriver)

3. 正确获取元素文本与属性 #

• 获取文本：如果elem.text仍为空，尝试用innerText或textContent属性，这两个不受元素可见性限制：

  print(elem.get_attribute('innerText'))
  print(elem.get_attribute('textContent'))
  

• 获取HTML属性：使用元素实际存在的属性名，比如：

  print(elem.get_attribute('data-bn-type'))  # 输出"text"
  print(elem.get_attribute('class'))        # 输出"draggableHandle css-1nxx0n5"
  

完整修改后示例代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

chromedriver = '/usr/bin/chromedriver'
opts = webdriver.ChromeOptions()
opts.add_argument('headless')
opts.add_argument('window-size=1920x1080')
browser = webdriver.Chrome(options=opts, executable_path=chromedriver)
browser.get(url)

# 等待元素加载完成且文本非空
elem = WebDriverWait(browser, 10).until(
    lambda x: x.find_element(By.CLASS_NAME, 'draggableHandle').text.strip() != ''
)

# 获取文本
print(elem.text)
print(elem.get_attribute('innerText'))

# 获取HTML属性
print(elem.get_attribute('data-bn-type'))
print(elem.get_attribute('class'))

browser.quit()

内容的提问来源于stack exchange，提问作者Vsevolod