如何使用XPath获取<p>元素全部内容：含文本、链接文本及href属性

嘿，我太懂你这会儿的困扰了！用lxml的etree处理HTML时，碰到拿不到里的文本、抓不到的真实URL这种情况，确实挺让人头疼的。我来给你分享几个实用的解决办法：

1. 轻松获取内部文本 #

你之前可能尝试用.text来取内容，但这个方法只能拿到标签直接子节点的文本，要是有嵌套就不行了。改用text_content()方法就完美解决，它能提取标签下所有后代节点的文本内容：

from lxml import etree

# 补全闭合标签的示例HTML
html = '<div id="classy"><span>this is </span><p>Some text, then this link: <a href="http://www.violentpower.com/" target="_blank">Click me</a></p></div>'
tree = etree.HTML(html)

# 定位span标签并提取文本
span_text = tree.xpath('//span')[0].text_content()
print(span_text)  # 输出：this is

2. 提取标签的href属性 #

要拿到链接的真实URL，不能只提取文本，得用XPath的@属性名语法来定位属性值，或者用.get()方法直接获取：

方法一：用XPath直接获取属性值 #

# 获取a标签的href属性
a_href = tree.xpath('//a/@href')[0]
print(a_href)  # 输出：http://www.violentpower.com/

方法二：通过元素对象获取属性 #

# 先选中a元素，再用get()方法拿href
a_element = tree.xpath('//a')[0]
link_url = a_element.get('href')
link_text = a_element.text_content()
print(f"链接文本：{link_text}，对应URL：{link_url}")

小技巧提醒 #

• 如果页面里有多个同类标签，记得优化XPath表达式来精准定位，比如用//div[@id="classy"]/span来指定id为classy的div下的span，避免选中多余元素。
• text_content()是处理嵌套文本的利器，比.text适用场景更广，以后碰到复杂文本提取都可以优先试试它。

内容的提问来源于stack exchange，提问作者Bester Fester