使用BeautifulSoup4提取指定标签直接文本无结果问题求助

嘿，我来帮你捋捋问题出在哪～你现在遇到的无输出问题主要有两个核心错误：

错误1：recursive=False的使用场景错了 #

recursive=False是让BeautifulSoup只找当前节点的直接子节点，而soup代表的是整个HTML文档的根节点，它的直接子节点只有<html>标签。你要找的div/p/li都嵌套在<html>→<body>里面，属于后代节点，根本不是根节点的直接子节点，所以用soup.find_all(tags, recursive=False)肯定找不到任何内容。

错误2：text=True的理解偏差 #

text=True在find_all里的作用是查找文本节点本身，而不是“找带有文本的标签”。当你加这个参数时，find_all会返回文档里所有的纯文本节点，而不是你需要的div/p/li标签，这完全不符合你的需求。

正确的实现方法 #

要提取这些标签的直接文本（不含子节点文本），应该先找到所有目标标签，再逐个提取它们的直接文本内容。这里可以通过遍历标签的.contents属性，筛选出纯文本节点（NavigableString类型）来实现：

import requests
from bs4 import BeautifulSoup, NavigableString

url = "https://www.crummy.com/software/BeautifulSoup/bs4/doc/#a-list"
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(response.text, "html.parser")

tags = ["div", "p", "li"]
# 递归查找所有目标标签（去掉recursive=False，因为我们需要嵌套的标签）
target_tags = soup.find_all(tags)

direct_texts = []
for tag in target_tags:
    # 提取当前标签的直接文本：筛选出直接子节点中的纯文本，拼接并去空白
    direct_text = ''.join([str(content).strip() for content in tag.contents if isinstance(content, NavigableString)])
    if direct_text:  # 只保留非空的文本结果
        direct_texts.append(direct_text)

print(direct_texts)

额外说明 #

如果你只想找某个特定父节点的直接子标签（比如<body>的直接子div），可以先定位到父节点再用recursive=False：

body = soup.find('body')
direct_child_tags = body.find_all(tags, recursive=False)

内容的提问来源于stack exchange，提问作者Ankur