使用BS4+正则无法定位含reconciliation的div标签问题

你原代码里的find_all('div', text=re.compile(...))只会匹配div自身直接包含的文本，但你提供的示例中，"Reconciliations"是在div的子标签<p>里的，div本身没有直接文本内容，所以正则匹配不到。

这里给两种实用的解决思路：

思路1：遍历所有div，检查其所有子孙文本 #

直接遍历所有div标签，用get_text()获取该标签下的所有文本（包括子孙标签），再用正则匹配：

import re
from bs4 import BeautifulSoup

# 定义正则模式，匹配reconciliation或reconciliations，忽略大小写
pattern = re.compile(r'reconciliation(s)?', re.IGNORECASE)

# 遍历所有div，检查是否包含目标关键词
for div_tag in soup.find_all('div', recursive=True):
    # 获取div下的所有文本，strip()去除多余空白
    div_full_text = div_tag.get_text(strip=True)
    if pattern.search(div_full_text):
        # 找到符合条件的div，这里可以添加你的处理逻辑
        print(div_tag)

也可以把判断逻辑直接写到find_all的参数里，更简洁：

divs_matched = soup.find_all(
    'div',
    recursive=True,
    lambda tag: pattern.search(tag.get_text(strip=True)) is not None
)

思路2：先找目标文本，再回溯父div #

先定位包含关键词的文本节点，再通过find_parent('div')找到对应的父div，这种方式更精准，避免遍历所有div：

# 找到所有包含目标关键词的文本节点
target_text_nodes = soup.find_all(text=pattern)

for text_node in target_text_nodes:
    # 回溯找到最近的父div标签
    parent_div = text_node.find_parent('div')
    if parent_div:
        # 处理找到的div
        print(parent_div)

两种方法都能匹配到你示例中的div标签，你可以根据实际网页结构选择更高效的方式——如果网页里div数量很多，思路2的性能会更好；如果需要确保关键词所在的层级一定在div下，思路1更稳妥。

内容的提问来源于stack exchange，提问作者Howard Zhu