寻求Selenium项目中scrapy.Selector的替代方案（无需scrapy库及driver.find_elements）

不需要引入Scrapy库，也不用Selenium的find_elements方法，可以用lxml库来实现同样的XPath解析功能——毕竟Scrapy的Selector底层就是基于lxml封装的，用法几乎一致。

具体实现代码 #

import selenium
from lxml import etree

# 加载目标页面
driver.get(link)
page_source = driver.page_source

# 将HTML字符串解析为可查询的节点树
html_tree = etree.HTML(page_source)

# 提取所有符合条件的职位链接（XPath语法和原代码完全一致）
links = html_tree.xpath('//a[contains(@class, "jcs-JobTitle")]/@href')

# 提取下一页链接，模拟原extract_first()的逻辑（避免空列表索引报错）
next_page = html_tree.xpath('//a[@aria-label="Next Page"]/@href')[0] if html_tree.xpath('//a[@aria-label="Next Page"]/@href') else None

补充说明 #

• lxml的etree.HTML()可以直接处理HTML字符串，生成支持XPath查询的结构，语法和Scrapy Selector高度兼容
• 原代码中的extract()对应lxml xpath方法返回的列表本身；extract_first()通过判断列表是否为空再取第一个元素的方式实现，避免索引越界异常
• 若未安装lxml，执行pip install lxml即可完成安装

内容的提问来源于stack exchange，提问作者Andrey Pushkin