Python Selenium获取#mw-content-text下li文本大量返回空值的问题
词对抓取空值问题排查与修正
核心问题原因
- li.text 机制限制:该属性仅能返回元素在当前视口内、处于可见状态的渲染后文本。Fandom维基页面为懒加载结构,headless模式下刚完成页面跳转时,大量li节点处于视口外未激活渲染的状态,哪怕DOM树中存在对应节点,li.text 也会返回空字符串。
- XPath匹配范围过宽:原XPath
//*[@id="mw-content-text"]/div/ul会命中所有层级的ul节点,包括隐藏导航、折叠模块、空白结构块中的空列表,这些列表下的li本身无实际内容。 - 旧API稳定性不足:使用的
find_elements_by_xpath、find_elements_by_tag_name为Selenium 3.x旧版API,在headless模式下对动态渲染节点的文本抓取兼容性差,经常漏取已渲染完成的内容。 - 缺少加载等待逻辑:页面跳转后立刻执行节点抓取,此时动态插入的词对内容尚未完全加载,无法获取有效文本。
代码调整方案
修正逻辑围绕四个方向收窄匹配范围、替换稳定的文本抓取方法、增加渲染等待、适配新版headless模式,完整代码如下:
from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC options = Options() # 适配新版Chrome的headless模式,渲染逻辑和正常打开浏览器一致 options.add_argument('headless=new') # 关闭图片加载加快渲染速度 options.add_argument('blink-settings=imagesEnabled=false') driver = webdriver.Chrome(options=options) listURL = [ "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Basics_1", "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Basics_2", "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Phrases_1", "https://duolingo.fandom.com/wiki/Dutch_(NL)_Skill:Negative_1", ] list_text = [] for url in listURL: driver.get(url) # 等待包含词对的ul节点加载完成,最多等待10秒 WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.XPATH, '//*[@id="mw-content-text"]//ul[li[contains(text(), "=")]]')) ) # 仅匹配包含带等号词对的ul,过滤无内容的空列表 ul_elems = driver.find_elements(By.XPATH, '//*[@id="mw-content-text"]//ul[li[contains(text(), "=")]]') for each_ul in ul_elems: all_li = each_ul.find_elements(By.TAG_NAME, "li") for li in all_li: # 用textContent取节点文本,不受元素可见性、视口位置限制 li_content = li.get_attribute("textContent").strip() # 过滤纯空值 if li_content: list_text.append(li_content) print(list_text)
调整后的效果
- 自动跳过无实际内容的空ul块,不会产生大量无意义的空字符串
- textContent 抓取方法绕开视口可见性限制,可正常获取懒加载的节点文本
- 显式等待逻辑确保页面内容完全渲染后再执行抓取,避免漏取内容
- 新版headless模式渲染逻辑和正常浏览器一致,稳定性更高
内容的提问来源于stack exchange,提问作者MagTun
相关产品推荐
相关产品推荐

