使用Python Selenium提取JS渲染页面span标签文本遇问题求助

问题根源 #

页面采用服务端模板（如EJS）渲染，浏览器加载后需通过JavaScript将模板替换为真实内容。你的代码要么未等待JS执行完毕，要么等待逻辑不当，导致获取的仍是原始模板代码，进而引发元素查找失败、属性错误等问题。

修复步骤 #

1. 修正元素查找的属性错误 #

出现AttributeError: 'list' object has no attribute 'text'是因为使用find_elements_*方法返回了元素列表，直接调用.text必然报错。正确处理方式：

# 错误示例（直接操作列表）
elements = driver.find_elements(By.XPATH, "//span[@class='sCell valX poolX']")
print(elements.text)

# 正确示例（遍历列表取每个元素文本）
elements = driver.find_elements(By.XPATH, "//span[@class='sCell valX poolX']")
for elem in elements:
    print(elem.text)

# 若仅需单个元素，使用find_element_*
element = driver.find_element(By.XPATH, "//span[@class='sCell valX poolX']")
print(element.text)

2. 优化等待逻辑，确保JS渲染完成 #

显式等待超时通常是等待条件或时长不合理导致的，可尝试以下几种等待策略：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

# 等待页面完全加载（document.readyState变为complete）
WebDriverWait(driver, 20).until(lambda d: d.execute_script('return document.readyState') == 'complete')

# 等待目标元素可见（适配模板中display: none的显示逻辑）
try:
    elements = WebDriverWait(driver, 20).until(
        EC.visibility_of_all_elements_located((By.XPATH, "//span[@class='sCell valX poolX']"))
    )
    for elem in elements:
        print(elem.text)
except TimeoutException:
    print("等待元素超时，请检查元素定位表达式或延长等待时长")

3. 确保元素定位表达式准确 #

多class属性的元素，使用By.CLASS_NAME只能传入单个class，建议用XPATH精准匹配：

# 匹配包含所有目标class的元素（不依赖class顺序）
elements = driver.find_elements(By.XPATH, "//span[contains(@class, 'sCell') and contains(@class, 'valX') and contains(@class, 'poolX')]")

# 精准匹配完整class属性（需与页面中class顺序完全一致）
elements = driver.find_elements(By.XPATH, "//span[@class='sCell valX poolX']")

4. 禁用浏览器缓存（可选） #

缓存可能导致页面加载不完整，可通过Chrome配置禁用：

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--disable-cache")
chrome_options.add_argument("--disable-application-cache")
driver = webdriver.Chrome(options=chrome_options)

进阶提示 #

若页面基于React/Vue等单页框架构建，可等待特定全局变量加载完成后再抓取：

# 等待模板变量xPool加载完成
WebDriverWait(driver, 20).until(lambda d: d.execute_script('return typeof xPool !== "undefined"'))

内容的提问来源于stack exchange，提问作者zicari