Python Selenium提取ul下li标签文本返回空白问题求助
爬取Eneba站点列表文本失败的问题原因与解决方案
问题原因
- Selenium内置的
text属性仅支持获取可见状态下元素的文本内容,目标站点的游戏特性列表大概率做了CSS样式处理:要么元素默认不可见、要么内容通过CSS伪元素插入、要么元素初始位于视口外未触发可见渲染,都会导致text返回空值。 - 你没有添加显式等待逻辑,即使XPath能定位到ul元素,也可能出现元素节点已生成但内部文本还未完成动态填充的情况,直接读取就会拿到空白内容。
- 部分防爬站点会把文本内容拆分放在li的多层子节点中,直接读取li的
text属性会丢失内容。
修复方案
将原代码中读取text属性的逻辑替换为读取textContent属性,同时添加显式等待确保元素内容加载完成,修改后的代码如下:
from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 显式等待最多10秒,直到目标ul加载完成 wait = WebDriverWait(driver, 10) ul = wait.until(EC.presence_of_element_located((By.XPATH, '//h2[2]/following-sibling::ul'))) # 等待ul下所有li元素加载完成 li_list = ul.find_elements(By.TAG_NAME, 'li') for li in li_list: # 用textContent获取所有文本,不受元素可见性影响 print(li.get_attribute('textContent').strip())
如果运行上述代码还是拿到多余空白或者格式异常的内容,可以进一步替换为
get_attribute('innerText')尝试,两种属性的文本提取规则略有差异,适配不同站点的样式处理逻辑。
内容的提问来源于stack exchange,提问作者V-cash
相关产品推荐
相关产品推荐

