Python使用BeautifulSoup提取网页所有文本字符串的问题求助

方案1：直接提取全页非空字符串（匹配你的第一种思路） #

BeautifulSoup 内置了stripped_strings属性，会自动遍历文档所有文本节点，过滤纯空白内容，直接转为列表即可得到结果，无需自行实现元素遍历逻辑：

from bs4 import BeautifulSoup

# soup为已初始化的BeautifulSoup实例
all_strings = list(soup.stripped_strings)

如果需要保留文本原始的空白格式，可使用.strings属性自行过滤：

all_strings = [text for text in soup.strings if text.strip()]

方案2：指定标签提取并解决重复问题（匹配你的第二种思路） #

你遇到的重复输出问题，是因为嵌套标签的文本会被父标签和子标签同时返回：比如<p>测试 <a>Get Hired</a> 内容</p>，同时提取p和a标签文本时，p标签的返回结果会包含Get Hired，a标签也会单独返回Get Hired，就出现了重复。
可以用两种方法解决：

方法2.1 仅提取标签的直接子文本 #

调用get_text时添加recursive=False参数，仅获取当前标签的直接文本，不包含嵌套子标签的内容：

# 定义你需要提取的标签列表
target_tags = ["p", "a", "h1", "h2", "span"]
result = []
for tag in target_tags:
    for element in soup.find_all(tag):
        direct_text = element.get_text(strip=True, recursive=False)
        if direct_text:
            result.append(direct_text)

方法2.2 对结果按顺序去重 #

如果不需要区分文本所属标签，可对原始结果做顺序去重（Python 3.7+ 支持dict保留插入顺序）：

# raw_result为提取到的包含重复内容的原始列表
unique_result = list(dict.fromkeys(raw_result))

内容的提问来源于stack exchange，提问作者youmac