You need to enable JavaScript to run this app. Python Selenium获取#mw-content-text下li文本大量返回空值的问题
优惠活动
大模型
产品
解决方案
定价
更多

Python Selenium获取#mw-content-text下li文本大量返回空值的问题

词对抓取空值问题排查与修正

核心问题原因

  • li.text 机制限制:该属性仅能返回元素在当前视口内、处于可见状态的渲染后文本。Fandom维基页面为懒加载结构,headless模式下刚完成页面跳转时,大量li节点处于视口外未激活渲染的状态,哪怕DOM树中存在对应节点,li.text 也会返回空字符串。
  • XPath匹配范围过宽:原XPath //*[@id="mw-content-text"]/div/ul 会命中所有层级的ul节点,包括隐藏导航、折叠模块、空白结构块中的空列表,这些列表下的li本身无实际内容。
  • 旧API稳定性不足:使用的find_elements_by_xpath、find_elements_by_tag_name为Selenium 3.x旧版API,在headless模式下对动态渲染节点的文本抓取兼容性差,经常漏取已渲染完成的内容。
  • 缺少加载等待逻辑:页面跳转后立刻执行节点抓取,此时动态插入的词对内容尚未完全加载,无法获取有效文本。

代码调整方案

修正逻辑围绕四个方向收窄匹配范围、替换稳定的文本抓取方法、增加渲染等待、适配新版headless模式,完整代码如下:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

options = Options()
# 适配新版Chrome的headless模式,渲染逻辑和正常打开浏览器一致
options.add_argument('headless=new')
# 关闭图片加载加快渲染速度
options.add_argument('blink-settings=imagesEnabled=false')
driver = webdriver.Chrome(options=options)

listURL = [
    "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Basics_1",
    "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Basics_2",
    "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Phrases_1",
    "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Negative_1",
]

list_text = []
for url in listURL:
    driver.get(url)
    # 等待包含词对的ul节点加载完成,最多等待10秒
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="mw-content-text"]//ul[li[contains(text(), "=")]]'))
    )
    # 仅匹配包含带等号词对的ul,过滤无内容的空列表
    ul_elems = driver.find_elements(By.XPATH, '//*[@id="mw-content-text"]//ul[li[contains(text(), "=")]]')
    for each_ul in ul_elems:
        all_li = each_ul.find_elements(By.TAG_NAME, "li")
        for li in all_li:
            # 用textContent取节点文本,不受元素可见性、视口位置限制
            li_content = li.get_attribute("textContent").strip()
            # 过滤纯空值
            if li_content:
                list_text.append(li_content)

print(list_text)

调整后的效果

  • 自动跳过无实际内容的空ul块,不会产生大量无意义的空字符串
  • textContent 抓取方法绕开视口可见性限制,可正常获取懒加载的节点文本
  • 显式等待逻辑确保页面内容完全渲染后再执行抓取,避免漏取内容
  • 新版headless模式渲染逻辑和正常浏览器一致,稳定性更高

内容的提问来源于stack exchange,提问作者MagTun

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 20:36:07