如何使用BeautifulSoup移除所有带有class属性的p标签

以下是几种常用的实现方案，均可以直接匹配删除所有带class属性的p标签，无需关注具体类名：

1. 基于BeautifulSoup实现（Python爬虫最常用方案） #

首先安装依赖：
pip install beautifulsoup4
处理代码示例：

from bs4 import BeautifulSoup

# html_content为你爬取到的原始HTML文本
soup = BeautifulSoup(html_content, "html.parser")

# 匹配所有带class属性的p标签并移除
for p_tag in soup.find_all("p", class_=True):
    p_tag.decompose()

# 获取处理后的HTML
result = str(soup)

其中class_=True参数会匹配所有携带class属性的p标签，完全符合你不需要匹配具体类名的需求。

2. 基于lxml实现（性能更高，适合批量处理大量页面） #

安装依赖：
pip install lxml
处理代码示例：

from lxml import etree

tree = etree.HTML(html_content)
# xpath直接筛选所有带class属性的p标签
for bad_tag in tree.xpath('//p[@class]'):
    bad_tag.getparent().remove(bad_tag)

# 导出处理后的HTML
result = etree.tostring(tree, encoding='utf-8').decode('utf-8')

注意事项 #

• 不建议使用正则表达式处理HTML结构，当标签存在嵌套、属性写法不规范等情况时，正则匹配很容易出现遗漏或者误删，优先使用专业的HTML解析库处理
• 如果你只需要提取纯文本不需要保留p标签结构，处理完成后可以直接调用print(soup.get_text(strip=True))拿到干净的小说内容

内容的提问来源于stack exchange，提问作者K. Iniyan