Selenium批量爬取表格异常：获取WebElement而非实际数据

核心原因 #

1. 过时元素引用（Stale Element Reference）：批量循环提交表单时，每次提交后页面会刷新或重新渲染，之前定位到的WebElement会和当前DOM树失去绑定关系，变成无效对象。这时候再调用.text会返回空值甚至抛出异常，而单独运行时页面未刷新，元素处于有效状态，所以能正常获取文本。
2. 页面加载时机不匹配：循环中提交表单后立刻定位元素，表格可能还未完成渲染，此时拿到的元素要么不存在，要么还没填充内容，自然拿不到文本。单独运行时你会手动等待页面加载完成，因此不存在这个问题。
3. 数据存储时机错误：最初直接将WebElement存入DataFrame，而非即时提取文本，后续元素失效后，再想提取就拿不到有效数据了。

解决方法 #

1. 即时提取文本，避免存储WebElement对象 #

每次定位到表格元素后，立刻调用.text.strip()提取文本并存入DataFrame，不要先保存WebElement：

# 错误写法：直接存储WebElement
results_df.loc[i, 'table_content'] = table_element

# 正确写法：即时提取文本
results_df.loc[i, 'table_content'] = table_element.text.strip()

2. 用显式等待确保元素加载完成 #

替代time.sleep()这类强制等待，使用Selenium的显式等待，等表格元素可见后再执行定位：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

# 提交表单后，等待表格元素加载（最多等待10秒）
table_element = WebDriverWait(driver, 10).until(
    EC.visibility_of_element_located((By.XPATH, '//替换为你的表格XPath'))
)
# 提取文本并存入DataFrame
results_df.loc[i, 'table_content'] = table_element.text.strip()

3. 每次循环都重新定位元素 #

不要复用之前循环中获取的WebElement，每次提交表单后都重新执行元素定位逻辑：

for idx, item in enumerate(submit_items):
    # 执行表单填充、提交操作
    fill_form(item)
    submit_button.click()
    
    # 重新定位表格元素（每次循环都执行此步骤）
    table_element = driver.find_element(By.XPATH, '//替换为你的表格XPath')
    # 提取文本存入DataFrame
    results_df.loc[idx, 'table_content'] = table_element.text.strip()

4. 校验元素定位的准确性 #

确保循环中的定位表达式和单独运行时完全一致，部分场景下表单提交后页面结构会变化，导致定位到错误元素。可以在循环中增加打印校验：

table_element = driver.find_element(By.XPATH, '//替换为你的表格XPath')
print(table_element.tag_name)  # 正常应输出'table'，若不是则说明定位错误

内容的提问来源于stack exchange，提问作者Austin