为何我的Parsel XPath选择器返回错误HTML标签？

问题场景 #

使用Parsel的Selector解析HTML时，用XPath选择单个<a>元素，却返回从目标元素到文档末尾的所有内容，包括后续兄弟元素和自动补全的</body></html>标签。

示例代码：

from parsel import Selector

html = '''
<div id='images'>
 <a href='image1.html'>Name: My image 10 <br /><img src='image1_thumb.jpg' /></a>
 <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
 <a href='image3.html'>Name: My image 30 <br /><img src='image3_thumb.jpg' /></a>
 <a href='image4.html'>Name: My image 40 <br /><img src='image4_thumb.jpg' /></a>
 <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
</div>
'''

selector = Selector(text=html)
elements = selector.xpath('//div[@id="images"]/a[4]')
print(elements.get())

预期输出：

<a href='image4.html'>Name: My image 40 <br /><img src='image4_thumb.jpg' /></a>

实际输出：

<a href="image4.html">Name: My image 40 <br><img src="image4_thumb.jpg"></a>
 <a href="image5.html">Name: My image 5 <br><img src="image5_thumb.jpg"></a>
</div></body></html>

原因分析 #

1. HTML自动补全：Parsel依赖的lxml库会自动将输入的HTML片段补全为完整的HTML文档，添加<html><body>包裹层，这是HTML解析器的标准行为。
2. 节点序列化逻辑：调用get()方法时，lxml默认的节点序列化规则会输出当前节点及其所有后续兄弟节点（包括文本节点、其他元素节点），直到父节点的闭合标签，导致输出内容超出预期的单个元素范围。

另外，输出中的单引号转双引号、自闭合标签变为非自闭合标签，是lxml序列化HTML时的默认格式化处理，属于正常现象，不影响内容有效性。

解决方法 #

方法1：使用XPath serialize(.)函数精准序列化单个节点 #

通过XPath的serialize(.)函数直接获取单个节点的完整HTML，避免包含后续节点：

from parsel import Selector

html = '''
<div id='images'>
 <a href='image1.html'>Name: My image 10 <br /><img src='image1_thumb.jpg' /></a>
 <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
 <a href='image3.html'>Name: My image 30 <br /><img src='image3_thumb.jpg' /></a>
 <a href='image4.html'>Name: My image 40 <br /><img src='image4_thumb.jpg' /></a>
 <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
</div>
'''

selector = Selector(text=html)
# 使用serialize(.)函数获取单个节点的HTML
element_html = selector.xpath('serialize(//div[@id="images"]/a[4])').get()
print(element_html)

方法2：手动调用lxml的tostring方法 #

直接访问底层lxml节点，调用tostring方法并指定仅序列化当前节点：

from parsel import Selector
from lxml.etree import tostring

html = '''
<div id='images'>
 <a href='image1.html'>Name: My image 10 <br /><img src='image1_thumb.jpg' /></a>
 <a href='image2.html'>Name: My image 2 <br /><img src='image2_thumb.jpg' /></a>
 <a href='image3.html'>Name: My image 30 <br /><img src='image3_thumb.jpg' /></a>
 <a href='image4.html'>Name: My image 40 <br /><img src='image4_thumb.jpg' /></a>
 <a href='image5.html'>Name: My image 5 <br /><img src='image5_thumb.jpg' /></a>
</div>
'''

selector = Selector(text=html)
# 获取第一个匹配的lxml节点
element = selector.xpath('//div[@id="images"]/a[4]')[0]
# 序列化单个节点，指定编码和方法
print(tostring(element, encoding='unicode', method='html'))

两种方法都能得到符合预期的单个<a>元素HTML内容。

内容的提问来源于stack exchange，提问作者cheryH