如何用Python正则提取特定class的div内容？及替代方案咨询

1. 正则表达式的问题与修改 #

你的正则表达式在当前提供的简单HTML场景下是可以正常工作的，运行代码会输出你需要的两段内容。但它的局限性很强，一旦HTML结构出现微小变化（比如属性顺序调整、标签内加空格、多了其他属性）就会失效。

如果要让正则更健壮，能应对属性顺序、空白字符、额外属性的情况，同时避免匹配到包含"class-name"的其他类名（比如class="class-name-other"），可以修改正则为：

pattern = r'<div\s+[^>]*class="[^"]*\bclass-name\b[^"]*"[^>]*>(.*?)</div>'

关键改进点：

• \s+ 匹配标签名后的任意空白字符
• [^>]* 匹配标签内除闭合>之外的任意内容，兼容额外属性或属性顺序变化
• \bclass-name\b 用单词边界确保匹配完整的class-name类名，避免部分匹配

不过即使修改后，正则依然无法处理标签嵌套的情况，这是正则解析HTML的天生缺陷。

2. 更合适的HTML解析库推荐（BeautifulSoup） #

如果后续HTML结构可能出现变化（哪怕是微小的），或者需要处理更复杂的场景，BeautifulSoup是远优于正则的选择，它专门用于HTML/XML解析，能自动处理各种格式不规范、嵌套、属性变化的情况。

示例代码如下：

from bs4 import BeautifulSoup

html_content = """  
<html>  
<body>  
    <div class="unwanted-class">Don't want this content</div>  
    <div class="class-name">Need this content</div>  
    <div class="class-name other-class">Also need this content</div>  
</body>  
</html>  
"""

# 初始化BeautifulSoup对象，指定解析器（推荐lxml或html.parser）
soup = BeautifulSoup(html_content, 'lxml')

# 提取所有class为class-name的div标签
target_divs = soup.find_all('div', class_='class-name')

# 遍历输出内容
for div in target_divs:
    print(div.get_text(strip=True))

这个代码能轻松应对：

• 属性顺序变化
• 标签内的空白字符
• 标签带有多个类名
• 简单的标签嵌套（只要目标内容不在嵌套的同类型标签里）

内容的提问来源于stack exchange，提问作者user27380773