如何用BeautifulSoup实现类似JS.innerText而非.textContent的文本提取

问题场景 #

有包含p标签的HTML文件，结构如下：

<body>
    <p>Lorem ipsum dolor sit amet, 
        consectetur adipiscing elit. 
        Maecenas sed mi lacus. 
        Vivamus luctus vehicula lacus, 
        ut malesuada justo posuere et. 
        Donec ut diam volutpat</p>
</body>

使用以下Python+BeautifulSoup代码提取文本：

with open("foo.html", 'r', encoding='utf-8') as f:
    soup = BeautifulSoup(f.read(), 'lxml')
p = soup.p
print(p.text)

提取结果包含原文件的换行符\n和制表符\t，类似JS中textContent的输出：

'Lorem ipsum dolor sit amet, \n\t\tconsectetur adipiscing elit. \n\t\tMaecenas sed mi lacus. \n\t\tVivamus luctus vehicula lacus, \n\t\tut malesuada justo posuere et. \n\t\tDonec ut diam volutpat'

需求是实现类似JS中innerText的效果，即返回浏览器渲染后用户看到的文本格式。直接用replace替换换行和制表符，在嵌套标签等复杂场景下会出现多余空格，无法正常工作，需要可行的解决方法。

解决方法 #

方法1：使用BeautifulSoup的get_text()参数 #

BeautifulSoup的get_text()方法支持通过参数控制文本合并逻辑，能直接实现接近innerText的效果：

with open("foo.html", 'r', encoding='utf-8') as f:
    soup = BeautifulSoup(f.read(), 'lxml')
p = soup.p
# strip=True 去除文本首尾空白；separator=' ' 用单个空格分隔不同文本节点
clean_text = p.get_text(strip=True, separator=' ')
print(clean_text)

输出结果：

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Maecenas sed mi lacus. Vivamus luctus vehicula lacus, ut malesuada justo posuere et. Donec ut diam volutpat

该方法会自动将文本中的换行、制表符、连续空格合并为单个空格，同时处理嵌套标签（如<p>Hello <b>world</b> test</p>会输出Hello world test），无需额外处理，适合大多数场景。

方法2：针对特殊标签（如<br>）保留换行 #

如果需要保留<br>标签对应的换行（浏览器中会显示为换行），可以先替换<br>为换行符，再清理多余空白：

with open("foo.html", 'r', encoding='utf-8') as f:
    soup = BeautifulSoup(f.read(), 'lxml')
p = soup.p

# 将所有<br>标签替换为换行符
for br in p.find_all('br'):
    br.replace_with('\n')

# 处理每行的空白，去除空行
lines = [line.strip() for line in p.text.split('\n')]
clean_text = '\n'.join([line for line in lines if line])
print(clean_text)

这种方式既保留了<br>带来的换行结构，又清理了原文件中的多余制表符、连续空格，更贴近浏览器对包含换行标签文本的渲染效果。

内容的提问来源于stack exchange，提问作者Avraham