BeautifulSoup组合标签、text与属性参数无法定位元素原因咨询

问题原因 #

这是BeautifulSoup的find方法不同参数组合对应的搜索逻辑差异导致的，核心原因如下：

• 当你同时指定标签名+属性+text参数时，BeautifulSoup的匹配逻辑是：先筛选出符合标签名、属性要求的元素，再校验该元素的string属性是否完全等于你传入的text值。而你的目标<td>标签内部不止有文本节点，还有<br/>标签，当元素包含多个子节点时，它的string属性会返回None，自然无法匹配到你传入的 Title:文本，所以定位失败。
• 只传text和attrs参数时，搜索逻辑会变成：先找到所有内容等于 Title:的文本节点，再校验这些文本节点的父元素是否符合attrs的属性要求。你要找的文本节点的父元素刚好是目标<td>，属性也匹配，所以能正常定位。
• 只传标签名和属性的写法不需要校验文本内容，自然可以正常找到元素。

解决方案 #

如果要同时指定三类参数做定位，可以改用lambda表达式做自定义匹配：

my_tag = soup.find(
    lambda tag: tag.name == 'td' 
                and tag.get('align') == 'right'
                and tag.get('class') == ['header2']
                and tag.get('valign') == 'top'
                and ' Title:' in tag.text
)

也可以对text参数使用正则匹配模糊搜索：

import re
my_tag = soup.find(
    'td',
    text=re.compile(r' Title:'),
    attrs={"align": "right", "class": "header2", "valign": 'top'},
)

内容的提问来源于stack exchange，提问作者Iman Hosseinipour