BeautifulSoup的find_all出现重复结果的原因及解决方法

为什么会出现重复结果？ #

核心有两个问题：

1. 变量名冲突打乱逻辑：你在外层循环用i指代邮件元素，内层清理注释时又用了i，这直接覆盖了外层的i值，导致后续解析可能基于错误的对象执行，让recursive=False的限制失效。
2. 嵌套标签被全量匹配：你指定的标签列表包含了多层嵌套的标签（比如div→p→b→span都在列表里），当recursive=False失效后，find_all会递归遍历所有层级的匹配标签，把每个嵌套的符合条件的标签都捞出来，看起来就像是内容重复，但它们其实是不同层级的标签对象。

一步步解决问题 #

第一步：修复变量名冲突

先把内层循环的变量改成不一样的，避免覆盖外层的邮件内容对象：

for item in email:
    soup = BeautifulSoup(item, "html.parser")
    # 用comment代替i，避免变量覆盖
    for comment in soup(text=lambda text: isinstance(text, Comment)):
        comment.extract()
    # 后续解析代码放在这里

第二步：根据需求选择合适的解析方式

需求1：提取所有匹配标签的文本内容（去重）

如果目标是获取文本而非标签对象，可以提取后去重：

# 定义目标标签集合
target_tags = ["a", "abbr", "acronym", "address", "b", "big", "br", "caption", "cite", "code", "datalist", "dd", "dfn", "dir", "dl", "dt", "div", "em", "figcaption", "footer", "h1", "h2", "h3", "h4", "h5", "h6", "header", "i", "img", "iframe", "label", "legend", "li", "mark", "ol", "p", "pre", "q", "small", "source", "strike", "strong", "span", "sub" , "sup", "table", "tbody", "td", "th", "time", "title", "tt", "tr", "u", "ul", "video", "wbr"]
# 获取所有匹配标签
all_tags = soup.find_all(target_tags)
# 提取非空文本并去重
unique_texts = list(set(tag.get_text(strip=True) for tag in all_tags if tag.get_text(strip=True)))
print(unique_texts)

需求2：只获取最外层的匹配标签

如果只想拿到不嵌套在其他目标标签里的顶层标签，比如最外层的div，可以这样筛选：

target_tag_names = {"a", "abbr", "acronym", "address", "b", "big", "br", "caption", "cite", "code", "datalist", "dd", "dfn", "dir", "dl", "dt", "div", "em", "figcaption", "footer", "h1", "h2", "h3", "h4", "h5", "h6", "header", "i", "img", "iframe", "label", "legend", "li", "mark", "ol", "p", "pre", "q", "small", "source", "strike", "strong", "span", "sub" , "sup", "table", "tbody", "td", "th", "time", "title", "tt", "tr", "u", "ul", "video", "wbr"}
all_tags = soup.find_all(target_tag_names)
# 筛选父标签不在目标集合里的外层标签
outer_tags = []
for tag in all_tags:
    current_parent = tag.parent
    is_outer = True
    while current_parent and current_parent.name != "[document]":
        if current_parent.name in target_tag_names:
            is_outer = False
            break
        current_parent = current_parent.parent
    if is_outer:
        outer_tags.append(tag)
print(outer_tags)

需求3：只获取<body>的直接子元素

如果目标是拿到<body>下的顶层内容，直接定位<body>后再用recursive=False：

body_tag = soup.find("body")
if body_tag:
    top_level_tags = body_tag.find_all(target_tags, recursive=False)
    print(top_level_tags)

内容的提问来源于stack exchange，提问作者user47467