Python3中lxml的Xpath为何匹配h3内span文本却不匹配p文本？

这个问题的核心在于HTML解析器的自动规范修正行为，以及HTML元素的嵌套规则限制。

为什么p元素的情况取不到文本？ #

HTML规范里，<h3>是块级元素，而<p>同样是块级元素，块级元素不能嵌套其他块级元素。当你用etree.HTML()解析这段不符合规范的HTML时，lxml背后的HTML解析器会自动修正这个不合法的结构，把<p>标签移出<h3>之外。

你可以通过打印解析后的完整HTML结构来验证：

from lxml import etree
result = "<h3><p>Hallo</p></h3>"
tree = etree.HTML(result)
print(etree.tostring(tree, encoding='unicode'))

输出会是类似这样的：

<html><body><h3></h3><p>Hallo</p></body></html>

可以看到<p>已经不在<h3>内部了，所以//h3//text()自然找不到任何文本内容。

为什么span元素的情况可以正常匹配？ #

<span>是行内元素，行内元素允许嵌套在块级元素（比如<h3>）内部，这种结构符合HTML规范，所以解析器不会修改它的结构，<span>依然留在<h3>里，//h3//text()就能正常取到文本。

解决方案 #

根据你的需求，有两种处理方式：

• 修正HTML结构（推荐）：遵循HTML规范，不要在<h3>里嵌套<p>这类块级元素，换成<span>或者直接把文本放在<h3>内。
• 使用XML解析模式（如果必须处理不规范HTML）：如果无法修改原始HTML内容，可以用etree.fromstring()代替etree.HTML()，它会以XML模式解析，不会自动修正HTML结构（注意要确保HTML是格式良好的XML，标签都正确闭合）：

from lxml import etree
result = "<h3><p>Hallo</p></h3>"
tree = etree.fromstring(result)
r = tree.xpath('//h3//text()')
print(r)  # 输出: ['Hallo']

内容的提问来源于stack exchange，提问作者Florian