Python Selenium中除首个元素外其余元素无text值的问题排查

问题背景 #

执行以下Python Selenium脚本时，出现文本提取异常：

driver = webdriver.Chrome()
driver.get(url)
time.sleep(1)
xpath_str = "//*[@class='texts']"
for e in driver.find_elements(By.XPATH, xpath_str):
    print(e.tag_name)
    print(e.text)

目标元素的HTML结构（第一个元素示例）：

<p class="texts">
                                        1 :
                                        
                                        
                                        
                                            FIRST TEXT
                                            
                                            
                                        
                                        
                                        
                                        
                                    </p>

异常现象 #

1. 能成功定位到3个目标元素，但第一个元素的e.text输出异常（实际输出"FT : FIRST TEXT"，预期为"1 : FIRST TEXT"）
2. 第二、第三个元素的e.text直接返回空值
3. 提前打印driver.page_source并导入XPath测试工具，能看到所有元素包含正确的文本内容

预期输出 #

"p"
"1 : FIRST TEXT"
"p"
"2 : SECOND TEXT"
"p"
"3 : THIRD TEXT"

实际输出 #

"p"
"FT : FIRST TEXT"
"p"
""
"p"
""

问题根源 #

Selenium的element.text属性仅返回浏览器渲染后可见的文本内容。如果元素内的文本节点被CSS样式设置为不可见（比如visibility: hidden、display: none），或者被其他元素遮挡、字体颜色与背景色一致导致视觉不可见，甚至是渲染时被截断，element.text都会返回空值或异常截断的内容。

而driver.page_source是页面的原始HTML代码，包含所有文本节点，不会受浏览器渲染规则影响，这就是为什么XPath工具能读到完整文本，但element.text不行的原因。

解决办法 #

放弃使用element.text，改用以下两种方式提取元素的全部文本内容：

方法1：通过JavaScript获取textContent #

直接调用元素的textContent属性，它会返回元素包含的所有文本（包括不可见的），之后再清理多余的换行和空格：

for e in driver.find_elements(By.XPATH, xpath_str):
    print(e.tag_name)
    # 执行JS获取完整文本
    full_text = driver.execute_script("return arguments[0].textContent;", e)
    # 清理多余空白字符
    cleaned_text = ' '.join(full_text.split()).strip()
    print(cleaned_text)

方法2：优化XPath提取逻辑 #

修改XPath直接获取元素下的所有文本节点，再进行拼接清理：

xpath_str = "//*[@class='texts']"
for e in driver.find_elements(By.XPATH, xpath_str):
    print(e.tag_name)
    # 获取元素下所有文本节点的内容
    text_nodes = e.find_elements(By.XPATH, "./text()")
    full_text = ''.join([node.get_attribute('textContent') for node in text_nodes])
    cleaned_text = ' '.join(full_text.split()).strip()
    print(cleaned_text)

额外优化：替换固定等待为显式等待 #

原代码中的time.sleep(1)是固定等待，可能因页面加载慢导致元素未完全渲染，建议改用显式等待确保元素加载完成：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get(url)
# 等待所有目标元素加载完成，最长等待10秒
WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.XPATH, "//*[@class='texts']"))
)
# 后续提取文本的逻辑...

内容的提问来源于stack exchange，提问作者L vr