Scrapy如何获取含指定文本节点的父元素？原lxml方法无法复用

嘿，刚接触Scrapy的时候我也踩过这个坑！毕竟用惯了lxml的操作逻辑，突然切换到Scrapy的Selector确实会有点不适应，别担心，有两种简单的方法能实现你要的功能：

方法一：直接用XPath一步定位父元素（推荐） #

Scrapy的XPath支持直接在表达式里定位父节点，完全不用先取文本节点再找父元素，代码更简洁高效：

parent_selectors = response.xpath('//text()[contains(., "engineer")]/parent::*')
# 取第一个匹配的父元素
if parent_selectors:
    parent_element = parent_selectors[0]
    # 之后可以用Scrapy Selector的方法操作，比如提取文本或属性
    print(parent_element.get())

这里的/parent::*就是直接选中当前文本节点的父元素，*表示匹配任意类型的父节点，如果你知道父元素的具体标签（比如<div>或<p>），也可以写成/parent::div来缩小匹配范围，更精准。

方法二：通过Selector的底层lxml节点调用getparent() #

如果你确实需要先获取文本节点的Selector，再去寻找它的父元素，可以通过Scrapy Selector的.root属性拿到底层的lxml原生节点，然后就能用你熟悉的getparent()方法了：

from scrapy import Selector

text_selectors = response.xpath('//text()[contains(., "engineer")]')
if text_selectors:
    # 拿到原始的lxml文本节点
    lxml_text_node = text_selectors[0].root
    # 调用lxml的getparent()方法获取父节点
    lxml_parent_node = lxml_text_node.getparent()
    # 把lxml节点转成Scrapy Selector，方便后续用Scrapy的API操作
    parent_selector = Selector(root=lxml_parent_node)
    print(parent_selector.get())

这种方法适合你需要先对文本节点做一些额外处理，再去获取父元素的场景，但一般来说方法一的XPath写法更直接高效，优先推荐使用。

内容的提问来源于stack exchange，提问作者Maxim Cherchuk