如何从HTML页面提取开发者工具中白色显示的所有字符串

Python 实现方案 #

使用 BeautifulSoup #

先安装依赖库：

pip install beautifulsoup4 requests

示例代码：

import requests
from bs4 import BeautifulSoup

# 替换为目标站点URL
target_url = "https://example.com"
response = requests.get(target_url)
# 解析HTML内容
soup = BeautifulSoup(response.text, "html.parser")
# 提取全部文本，自动清理多余空白并分隔内容
all_text = soup.get_text(strip=True, separator=" ")
print(all_text)

get_text()方法会自动忽略所有HTML标签，提取页面中所有可见和隐藏的文本内容，参数strip=True移除文本首尾空白，separator=" "用空格分隔不同段落或元素的文本，避免内容堆积。

使用 lxml #

安装依赖库：

pip install lxml requests

示例代码：

import requests
from lxml import etree

target_url = "https://example.com"
response = requests.get(target_url)
# 构建HTML解析树
tree = etree.HTML(response.text)
# 通过XPath选中所有文本节点，合并为统一字符串
all_text = " ".join(tree.xpath("//text()")).strip()
print(all_text)

//text() XPath表达式会匹配页面中所有文本节点，再通过join将分散的文本片段合并，最后用strip()清理首尾空白。

内容的提问来源于stack exchange，提问作者Ivan