如何使用BeautifulSoup提取标签内未被子标签包裹的直属文本

核心逻辑 #

• 目标标签下的直属文本，本质是目标节点的直接子节点中、类型为文本节点的内容，不包含任何嵌套子元素内的文本
• 无需递归遍历子元素，仅遍历目标节点的直接子节点，筛选文本类型节点即可

BeautifulSoup（Python）实现 #

案例适配代码 #

from bs4 import BeautifulSoup

# 待解析的样例HTML
sample_html = '''
<div style="text-align: center;">
            <img src="https://documents.google.com/" alt="" width="60" height="30" />
            <br />
            Pick me please.

        <p> Do not pick me please! </p>

        <br />
        <br />
    </div>
'''
soup = BeautifulSoup(sample_html, 'html.parser')
# 定位目标div
target_element = soup.find('div', attrs={'style': 'text-align: center;'})

通用提取函数 #

def get_direct_text(el):
    # 仅筛选元素的直接子节点中的文本节点（文本节点的name属性为None）
    direct_text_list = [child for child in el.children if child.name is None]
    # 拼接后清理多余空白、换行
    return ' '.join(''.join(direct_text_list).split())

调用结果 #

print(get_direct_text(target_element))
# 输出：Pick me please.

注意事项 #

• 禁止直接使用el.text或el.get_text()方法，这类方法会递归拼接所有子元素的文本，会把p标签内的内容也提取出来
• 函数完全通用，只要传入任意已定位的元素对象，都能返回其直属文本，不受HTML结构变化影响

XPath 通用实现 #

如果使用XPath（适配lxml、Scrapy等工具），直接使用文本轴的直属匹配即可：

# 匹配目标div下的所有直属文本节点，不会递归匹配子元素内的文本
//div[@style="text-align: center;"]/text()

• 拿到的文本节点列表同样需要做空白字符过滤、拼接，即可得到目标内容
• 不要使用string(.)或//text()语法，前者会拼接所有子元素文本，后者会递归匹配所有后代文本节点

内容的提问来源于stack exchange，提问作者IntoAbhi