如何用BeautifulSoup获取HTML页面指定标签前的所有显示文本？

当然可以实现！BeautifulSoup的节点遍历能力完全能搞定这个需求——本质上就是按文档顺序收集文本，直到遇到指定的end_content标签就停止，效果和soup.get_text()类似，但会在目标标签处截断。

具体实现代码 #

from bs4 import BeautifulSoup

# 示例HTML
html = """
<html>
<body>
<p>这是第一段需要保留的文本</p>
<div>这里是div容器里的文本<span>还有嵌套span的内容</span></div>
<p>这是最后一段要保留的文本</p>
<div id="end_content">这个标签及之后的内容都不需要</div>
<p>这段文本会被忽略</p>
</body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')

def extract_text_until_target(soup, target_id):
    # 定位到目标结束标签
    target_tag = soup.find(id=target_id)
    # 如果找不到目标标签，直接返回整个页面的文本
    if not target_tag:
        return soup.get_text(strip=True, separator=' ')
    
    text_fragments = []
    # 按文档顺序递归遍历所有节点
    for node in soup.recursiveChildGenerator():
        # 遇到目标标签就立即停止遍历
        if node is target_tag:
            break
        # 只处理非空的文本节点
        if hasattr(node, 'string') and node.string and node.string.strip():
            text_fragments.append(node.string.strip())
    
    # 用空格连接所有文本片段，过滤空内容
    return ' '.join(text_fragments)

# 调用函数获取结果
result = extract_text_until_target(soup, 'end_content')
print(result)

代码说明 #

1. 定位目标标签：先用soup.find(id="end_content")找到需要截断的节点，如果页面中不存在该标签，就直接返回整个页面的文本（和原生get_text()行为一致）。
2. 遍历节点收集文本：通过recursiveChildGenerator()按文档渲染顺序遍历所有节点，这个方法会返回包括文本节点、标签节点在内的所有节点。
3. 截断逻辑：每次遍历到节点时，先判断是否是目标标签，若是则立刻终止遍历；如果是有内容的文本节点，就将其清理后加入结果列表。
4. 文本格式化：最后将收集到的文本片段用空格连接，过滤掉空字符串，得到整洁的输出结果。

运行上述代码，输出结果为：这是第一段需要保留的文本 这里是div容器里的文本 还有嵌套span的内容 这是最后一段要保留的文本，完全符合需求。

内容的提问来源于stack exchange，提问作者user2399973