Python Selenium抓取HTML源码后如何使用XPath查询？

你可以借助支持XPath的HTML解析库（比如lxml）实现离线解析静态HTML，完全不需要依赖Selenium驱动。核心思路是：用Selenium快速获取页面完整HTML后立即关闭驱动，再用解析库对HTML文本做XPath查询和数据清理。

具体实现步骤 #

1. 安装依赖库

先安装lxml（支持XPath的解析核心）：

pip install lxml

2. 完整代码示例

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from lxml import etree

# Selenium部分：快速获取HTML并关闭驱动
chrome_options = Options()
chrome_options.add_argument("--headless=new")  # 无头模式，节省资源
driver = webdriver.Chrome(options=chrome_options)

try:
    driver.get("你的目标网址")
    page_html = driver.page_source  # 获取完整HTML源码
finally:
    driver.quit()  # 立即关闭驱动，释放资源

# 离线解析HTML：用lxml执行XPath查询
parser = etree.HTMLParser(encoding="utf-8")
tree = etree.fromstring(page_html, parser=parser)

# 执行XPath查询，示例为抓取所有h2标签的文本
target_elements = tree.xpath("//h2/text()")

# 数据清理（离线处理，不占用驱动资源）
cleaned_data = [text.strip() for text in target_elements if text.strip()]

print(cleaned_data)

补充说明 #

• 如果习惯用BeautifulSoup，也可以结合lxml作为解析器实现XPath查询：

from bs4 import BeautifulSoup

soup = BeautifulSoup(page_html, "lxml")
# 用select方法支持类XPath的查询，或直接调用soup.xpath()（需对应bs4版本支持）
target_elements = soup.select("你的目标选择器")

• lxml的XPath语法和Selenium基本一致，你可以直接复用之前写的XPath表达式，无需大幅修改。
• 这种方式彻底分离页面渲染和数据解析流程，驱动仅负责核心页面加载，用完即释放，能大幅降低工具的资源占用。

内容的提问来源于stack exchange，提问作者JSimonWSW