网页爬取：如何高效保留<br>标签转换行且避免<a>标签排版问题

我之前也碰到过一模一样的困扰——用get_text(separator='\n')要么丢了<br>的换行逻辑，要么因为<a>这类内嵌标签搞出多余的空格或换行，排版完全乱掉。这里给你一个针对性的解决思路，用BeautifulSoup逐个处理节点，完美兼顾需求：

具体代码实现（基于BeautifulSoup） #

from bs4 import BeautifulSoup, Tag, NavigableString

# 你的示例HTML结构
html = '''<div class="example"> Lorem ipsum dolor sit amet? <br> consectetur adipiscing elit. <br> Vivamus nec <a class="someLink" href="https://example.com">turpis vitae</a> metus aliquet mollis.</div>'''
soup = BeautifulSoup(html, 'html.parser')
target_div = soup.find('div', class_='example')

formatted_content = []
for node in target_div.contents:
    if isinstance(node, Tag):
        if node.name == 'br':
            # 遇到<br>直接转换成换行符
            formatted_content.append('\n')
        elif node.name == 'a':
            # 处理<a>标签：直接提取文本（如果要转成Markdown链接可以改这里）
            formatted_content.append(node.get_text(strip=False))
        # 要是还有其他需要保留的标签（比如span），可以在这里加判断逻辑
    elif isinstance(node, NavigableString):
        # 文本节点直接保留原格式，避免误删空格导致排版变形
        formatted_content.append(str(node))

# 拼接成最终的格式化文本
final_text = ''.join(formatted_content).strip()
print(final_text)

为什么这个方法有效？ #

• 遍历target_div.contents能拿到所有直接子节点，包括纯文本、<br>、<a>，不会漏掉任何排版细节
• 只给<br>添加换行，其他内嵌标签（比如<a>）直接提取文本，不会在标签前后凭空多出换行或空格
• 文本节点保留原有空格，避免strip=True导致的排版紧凑问题

如果需要把<a>转成Markdown格式的链接，只需要把<a>的处理代码改成：

formatted_content.append(f'[{node.get_text(strip=False)}]({node["href"]})')

这样处理后，输出的文本完全符合你的预期——既有<br>对应的换行，又不会因为<a>出现尴尬的间距。

内容的提问来源于stack exchange，提问作者Vale