如何用Selenium按顺序获取多标签无类名的HTML元素

需求说明 #

之前通过requests+BeautifulSoup抓取网页时遭遇403错误，现改用Selenium实现：

• 定位class为content-left的<div>标签
• 按文档顺序获取该div下所有<p>标签，以及<ul>内部的<li>标签

目标HTML结构 #

<div class="content-left">
    <ul></ul>
    <ul></ul>
    <p></p>
    <ul></ul>
    <p></p>
    <ul></ul>
    <p></p>
    <ul>
        <li></li>
        <li></li>
    </ul>
    <p></p>
</div>

实现代码 #

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化Chrome浏览器（需提前配置好对应版本的ChromeDriver）
driver = webdriver.Chrome()

try:
    # 访问目标网页
    driver.get("替换为你的目标网页URL")
    
    # 等待目标div加载完成，防止页面未渲染完成导致元素查找失败
    content_left_div = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "content-left"))
    )
    
    # 按文档顺序获取所有<p>和<li>元素
    target_elements = content_left_div.find_elements(By.XPATH, ".//*[self::p or self::li]")
    
    # 遍历提取文本内容
    txt = ""
    for element in target_elements:
        text = element.text.strip()
        if text:
            txt += text + "\n"
    
    # 输出结果（可根据需求存储到文件或其他地方）
    print(txt)

finally:
    # 无论是否成功，都关闭浏览器释放资源
    driver.quit()

关键说明 #

• 用WebDriverWait等待元素加载，适配页面异步渲染场景
• XPath表达式.//*[self::p or self::li]精准定位目标元素，严格遵循文档顺序
• 文本处理用strip()去除多余空格换行，可根据实际需求调整格式
• 代码包裹在try...finally中，确保浏览器始终能正常关闭

内容的提问来源于stack exchange，提问作者Sandra Moon