使用Beautiful Soup Tag作为NetworkX节点时出现成员关系不一致问题

问题原因 #

问题的核心在于BeautifulSoup Tag对象的哈希值并非固定不变：

• Tag类的__hash__方法基于str(self).__hash__()实现，而str(tag)的输出和Tag在文档树中的关联状态直接绑定。
• 当调用tag.extract()时，Tag会从原文档树中被移除，其上下文关联（父节点、文档归属）发生变化，导致str(tag)的内容改变，哈希值也随之变化。
• NetworkX使用哈希表（底层为Python字典）存储节点，添加节点时使用的是Tag当时的哈希值；后续哈希值变化后，用node in graph检查时，会以新哈希值查找，无法匹配到原节点，因此输出False。
• 出现三种不同输出的原因是：遍历Tag的顺序（find_all返回的顺序）导致extract操作对后续Tag的状态影响不同，部分Tag的哈希值发生了变化，部分未变化。

规避方法 #

方法1：使用Tag的内存地址作为节点标识 #

利用对象的内存地址（id(tag)）作为节点，内存地址在对象生命周期内固定不变，不会受文档树操作影响：

from bs4 import BeautifulSoup
import networkx as nx
import re

html = """
<html>
    <body>
        <div>1</div>
        <div>2</div>
        <div>3</div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'lxml')
number_tags = soup.find_all(lambda tag: re.search(r'\d+', tag.text))

graph = nx.Graph()
tag_map = {}  # 维护ID与Tag的映射关系

for tag in number_tags:
    tag_id = id(tag)
    tag_map[tag_id] = tag.extract()
    graph.add_node(tag_id)

# 验证节点存在性
for tag_id in graph:
    print(tag_id in graph)  # 稳定输出5个True

# 如需操作Tag，通过tag_map获取
for tag_id in graph:
    print(tag_map[tag_id])

方法2：提前固定Tag的字符串表示 #

在执行extract之前，先获取Tag的字符串内容，用该字符串作为节点，避免后续状态变化影响哈希值：

from bs4 import BeautifulSoup
import networkx as nx
import re

html = """
<html>
    <body>
        <div>1</div>
        <div>2</div>
        <div>3</div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'lxml')
number_tags = soup.find_all(lambda tag: re.search(r'\d+', tag.text))

graph = nx.Graph()

for tag in number_tags:
    tag_str = str(tag)  # 提前获取未修改状态下的字符串
    tag.extract()
    graph.add_node(tag_str)

for node in graph:
    print(node in graph)  # 稳定输出5个True

方法3：使用Tag的不变特征生成哈希 #

提取Tag的固定属性（如标签名、属性、文本内容）生成一个可哈希的标识，比如转成元组：

from bs4 import BeautifulSoup
import networkx as nx
import re

html = """
<html>
    <body>
        <div>1</div>
        <div>2</div>
        <div>3</div>
    </body>
</html>
"""

soup = BeautifulSoup(html, 'lxml')
number_tags = soup.find_all(lambda tag: re.search(r'\d+', tag.text))

graph = nx.Graph()

for tag in number_tags:
    # 生成基于固定特征的可哈希标识
    tag_key = (tag.name, frozenset(tag.attrs.items()), tag.text.strip())
    tag.extract()
    graph.add_node(tag_key)

for node in graph:
    print(node in graph)  # 稳定输出5个True

内容的提问来源于stack exchange，提问作者bphi