基于属性值使用BeautifulSoup选取HTML标签的方法

假设有一个包含索引及对应内容的.htm页面，索引的每个元素都链接到文档的对应章节。我们的起始标签为带有href属性的<a href="#001">SECTION 1</a>；需要查找所有属性值为此href值的标签，以下是部分目标标签示例：

• <a id="#001">SECTION 1</a>
• <a name="#001">SECTION 1</a>
• <div name="#001">SECTION 1</div>
• <div id="#001">SECTION 1</div>

由于无法预知标签名称或存储href引用值的属性名称，如何仅基于属性值进行查找？是否有BeautifulSoup的成员函数可实现此功能？能否避免遍历所有属性？

可以通过BeautifulSoup的自定义过滤器来实现仅按属性值查找标签，不需要你手动遍历所有属性。具体实现方式如下：

核心思路 #

定义一个过滤函数，接收标签对象作为参数，自动遍历该标签的所有属性，检查是否存在属性值等于目标值（比如#001），符合条件就返回True，否则返回False。之后用find_all()方法传入这个过滤器，就能筛选出所有匹配的标签。

示例代码 #

from bs4 import BeautifulSoup

# 示例HTML内容
html = """
<a href="#001">SECTION 1</a>
<a id="#001">SECTION 1</a>
<a name="#001">SECTION 1</a>
<div name="#001">SECTION 1</div>
<div id="#001">SECTION 1</div>
<div class="normal">无关标签</div>
"""

soup = BeautifulSoup(html, 'html.parser')
target_attr_value = "#001"

# 自定义属性值过滤函数
def match_attr_value(tag):
    for value in tag.attrs.values():
        if value == target_attr_value:
            return True
    return False

# 获取所有符合条件的标签
matched_tags = soup.find_all(match_attr_value)

# 输出结果
for tag in matched_tags:
    print(tag)

关键说明 #

• 这种方式虽然会遍历每个标签的属性，但属于BeautifulSoup内部优化后的遍历，比你自己手动遍历整个文档的所有标签和属性要简洁高效得多。
• 目前BeautifulSoup没有提供直接按属性值查找的内置成员函数，必须通过自定义过滤器来实现需求。

内容的提问来源于stack exchange，提问作者solid