Beautiful Soup遍历descendants时重复提取链接文本的问题排查

嘿，我来帮你拆解一下这个重复问题的根源，以及怎么解决它~

问题出在哪？ #

你遇到的重复，核心原因是BeautifulSoup的descendants迭代器会遍历所有层级的节点——包括元素节点（比如<a>标签）和它内部的文本节点。咱们一步步对应你的代码逻辑和遍历顺序看：

1. 当遍历到<a>这个元素节点时，代码触发了elif element.name == 'a'的分支：把链接文本couverture du "Cri de Paris", n° 201添加到了paragraphs里。
2. 紧接着，迭代器会进入<a>标签的内部，遍历到它包含的文本节点（就是那个链接文字本身），这时候又触发了第一个if isinstance(element, str)的分支，再次把这段文本添加到paragraphs里。
3. 一来一回，同一段文字就被重复加入了列表。

怎么修复？ #

给你两种简单的调整思路，选适合你需求的就行：

思路1：跳过<a>标签内部的文本节点

既然已经在处理<a>元素时添加过链接文本了，那遇到<a>内部的文本节点直接跳过即可。修改代码里处理文本节点的分支：

for element in soup.descendants:
    if isinstance(element, str) and element.strip():
        # 检查当前文本节点的父节点是不是<a>，是就跳过
        parent = element.parent
        if parent and parent.name == 'a':
            continue
        paragraphs.append(element.strip())
    elif element.name == 'a' and element.get('href'):
        link_text = element.get_text().strip()
        href = element.get('href')
        links.append((link_text, href))
        paragraphs.append(link_text)

（这里可以去掉原来的if link_text not in paragraphs:判断，因为现在不会出现重复了）

思路2：拆分文本与链接的提取逻辑

如果不想纠结descendants的层级问题，也可以分开处理：先提取完整的文本内容，再单独提取所有链接，逻辑更清晰：

# 先提取所有文本，保持原有的内容连贯性
full_text = soup.get_text().strip()
paragraphs = [full_text]  # 或者按你的需求用split('\n')拆分
# 单独提取所有符合要求的a标签链接
links = [(a.get_text().strip(), a.get('href')) for a in soup.find_all('a', href=True)]

效果验证 #

用思路1修改代码后，处理你给出的输入文本，paragraphs会变成：
['Il faut noter une une similitude de mise en scène avec la', 'couverture du "Cri de Paris", n° 201', ', parue le 2 décembre 1900. Noter l'attitude des deux femmes, l'envolée du noeud de la robe de droite. Le visage de la femme en noir du Cri de Paris est repris pour la femme de gauche. On retrouve la présence d'un meuble sur la gauche pour l'équilibre de la composition.']
重复的链接文本就消失啦~

备注：内容来源于stack exchange，提问作者Juliatzin