BeautifulSoup文本查找失败及兄弟节点遍历报错求助

问题根源 #

你用find(text="Taxes & Assessments")返回None，是因为网页中的目标文本可能包含空格、换行、制表符等空白字符，精确匹配无法命中；另外html.parser解析器对复杂HTML的支持不如lxml健壮。

修正步骤 #

1. 模糊匹配文本：用lambda表达式忽略空白字符，匹配包含目标文本的节点
2. 换用更可靠的解析器：推荐lxml（需先安装：pip install lxml）
3. 根据HTML结构定位金额：找到文本节点后，通过父节点或兄弟节点定位金额标签

修正代码 #

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')  # 替换为lxml解析器

# 模糊匹配包含目标文本的节点，忽略前后空白
target_text = soup.body.find(
    string=lambda text: text and "Taxes & Assessments" in text.strip()
)

if target_text:
    # 情况1：金额在文本节点的下一个兄弟标签中
    amount_tag = target_text.find_next_sibling()
    if amount_tag:
        tax_bill = amount_tag.text.strip()
        print(f"税单金额：{tax_bill}")
    else:
        # 情况2：文本和金额同属一个父节点的子元素（比如在同一行<tr>的不同<td>）
        parent_node = target_text.parent
        # 根据实际HTML结构调整标签名（比如<td>、<div>等）
        amount_tag = parent_node.find_next('td')
        if amount_tag:
            tax_bill = amount_tag.text.strip()
            print(f"税单金额：{tax_bill}")
else:
    print("未找到'Taxes & Assessments'标识")

调试技巧 #

如果还是无法定位，先打印soup.prettify()查看HTML结构，确认：

• "Taxes & Assessments"所在的具体标签（比如<td>、<span>）
• 金额标签和目标文本标签的层级关系（兄弟、父子、同属父节点下的子元素）

内容的提问来源于stack exchange，提问作者solizma