使用Selenium提取文本：HTML结构变更后的元素提取方案咨询

我的HTML结构如下：

<div class="Class1">Category1</div> <div class="Class2">"Text1 I want"</div> <div class="Class1">Category2</div> <div class="Class2">"Text2 I want"</div>

目前我用这段代码提取Text1和Text2：

find_element = browser.find_elements_by_xpath("//div[@class='Class2']")
element = [x.text for x in find_element]
text1 = element[0]
text2 = element[1]

但当HTML结构变化（比如新增/删除了Class2的元素），这个方法就失效了，请问怎么实现更稳定的文本提取？

核心问题分析 #

你的当前方案最大的问题是依赖单一属性+硬编码索引：只靠Class2定位元素，还直接取第0、第1个结果。一旦页面新增了同class的元素，或者原有元素位置变动，索引就会错位；如果Class2这个类名被前端修改，直接就找不到元素了。

要实现稳定提取，核心是基于元素的关联逻辑定位，而不是依赖位置或单一标识。下面是几个实用的方案：

1. 利用相邻元素的关联关系（最推荐）

从你的HTML结构能看出来，Class2的文本是对应前面Class1的分类内容——咱们就利用这个逻辑来定位，完全不依赖索引：

# 精准定位Category1对应的Text1
text1 = browser.find_element_by_xpath("//div[@class='Class1' and text()='Category1']/following-sibling::div[@class='Class2']").text
# 精准定位Category2对应的Text2
text2 = browser.find_element_by_xpath("//div[@class='Class1' and text()='Category2']/following-sibling::div[@class='Class2']").text

如果Class1的文本可能包含空格、换行或者前后多余字符，可以用contains(text(), 'Category1')做模糊匹配，但优先用精确匹配更可靠。

2. 使用更具唯一性的属性组合

如果目标元素有其他更稳定的属性（比如id、data-*自定义属性），一定要优先用这些——前端一般不会随便改这类属性：

# 假设元素有data-category这个自定义属性
text1 = browser.find_element_by_xpath("//div[@data-category='category1']").text

如果只能用class，也可以结合父容器的标识缩小范围，避免全局查找带来的干扰：

# 假设这些div都在class为content-wrapper的父容器内
target_elements = browser.find_elements_by_xpath("//div[@class='content-wrapper']/div[@class='Class2']")

3. 避免硬编码索引，用文本内容过滤

如果必须获取所有Class2元素，但要筛选出需要的文本，可以在提取后根据内容过滤，而不是依赖位置：

all_class2_texts = [text.strip() for text in [x.text for x in browser.find_elements_by_xpath("//div[@class='Class2']")]]
# 根据文本里的关键词筛选
text1 = next(t for t in all_class2_texts if "Text1" in t)
text2 = next(t for t in all_class2_texts if "Text2" in t)

这种方法适合文本内容有固定标识的场景，即使元素位置变了，只要内容没变就能找到。

4. 结合显式等待，应对动态加载

有时候不是结构变了，而是元素还没加载完成就去提取，导致失效。一定要用显式等待代替time.sleep()，确保元素加载完成后再操作：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待目标元素出现，最多等待10秒
text1_element = WebDriverWait(browser, 10).until(
    EC.presence_of_element_located((By.XPATH, "//div[@class='Class1' and text()='Category1']/following-sibling::div[@class='Class2']"))
)
text1 = text1_element.text

额外小贴士 #

• 永远不要依赖元素的索引位置（比如element[0]），这是最脆弱的定位方式；
• 优先用语义化的定位逻辑（比如“找到Category1对应的描述文本”），而不是“找到第2个div”；
• 如果页面有AJAX动态加载内容，显式等待是必须的，不要用固定延时的time.sleep()。

内容的提问来源于stack exchange，提问作者Karma