Python用BeautifulSoup get_text()后残留空白，strip/dedent无效求解

• 现有列表推导仅实现了纯空行过滤：判断条件line.strip() != ""仅识别全空白行并移除，未对每一行的首尾空白做实际清理，因此HTML源码中的标签缩进、链接文本自带的前导空格，都会被原样保留在行内容中。你观察到“1”没有对齐到行首，本质是未开启文本清理时，BeautifulSoup会把a标签前面属于HTML结构缩进的4个空格文本节点，和后面的“1”文本拼接到一起，相当于给“1”前硬加了缩进，自然无法和其他行对齐。
• textwrap.dedent()的适用场景为所有行存在统一公共前导缩进（如整段Python代码统一4格缩进），其逻辑是删除所有行共有的前导空白。当前场景中各行列前缩进量从2格到5格不等，不存在统一公共缩进，因此dedent不会产生任何效果。
• 对拼接后字符串整体调用strip()，仅能移除整个文本块最开头、最末尾的空白，无法触达每一行内部的零散前导空格。
• 代码中存在一处笔误：拼接换行时写为"/n"，正确的换行转义符为"\n"，但该问题不影响空白残留的核心问题。

核心思路 #

不要等把所有文本拼成长字符串之后再处理，直接利用BeautifulSoup提取文本时的内置参数，从源头把每个独立文本块的冗余空白清掉，比后续逐行处理效率更高、效果更稳定。

分步操作 #

1. 替换原来的get_text()调用，开启两个关键参数：
   • strip=True：自动删掉每个独立文本块（比如<a>标签里的“ 2”、<p>标签里的“ line ends”）的首尾所有空格、换行，不会残留HTML结构带的缩进、文本本身带的前后空格
   • separator="\n"：让不同HTML元素的提取文本之间用换行分隔，避免把不同位置的文本粘到一行
2. 拿到处理后的文本后，过滤掉多余的空行，匹配需要的格式调整规则

可直接运行的参考代码 #

#!/usr/bin/python
from bs4 import BeautifulSoup

print('opening file....')
with open("./scraped_pages/doc.html", encoding="utf-8") as fp:
    soup = BeautifulSoup(fp, "html.parser")
print('closing file...')
print('..... file closed  ...')

# 核心替换逻辑：提取时直接逐块去空白，用换行分隔
extracted_lines = soup.get_text(strip=True, separator="\n").split("\n")
# 过滤掉空行
clean_lines = [line for line in extracted_lines if line]
# 匹配需要的输出格式：第一行标题后加逗号
clean_lines[0] = clean_lines[0] + ","
# 拼接成最终文本
final_result = "\n".join(clean_lines)

print("最终输出：")
print(final_result)

实际输出效果 #

和期望的结果完全一致：

Head's title,
Body's title
line begins
1
2
3
line ends

内容的提问来源于stack exchange，提问作者Tommy Gibbons