Python Jupyter中调用difference()方法报list无该属性报错的问题排查

• 触发AttributeError: 'list' object has no attribute 'difference'的核心原因：你代码中调用.difference()的downloads、new_downloads变量，是r.html.find('a')的返回值。这个方法默认返回匹配元素组成的列表（list），而.difference()是Python*集合（set）*的专属方法，列表本身不具备这个能力，自然会抛错。
• 教程示例没有报错的原因：教程里用来做差集运算的对象是r.html.absolute_links，这个属性天生返回set类型的链接集合，本身就支持集合运算，和find()返回的列表类型完全不同。
• 你测试参考文档示例也报同类错，通常是因为示例里定义集合的变量被误赋值为列表（比如用[]定义变量而不是{}），类型不匹配就会触发同样的报错。

核心思路是不要直接用元素列表做差，优先使用本身就是set类型的链接属性完成差集计算，步骤如下：

1. 在触发JS渲染之前，先抓取初始状态下的全量链接集合：

   # 渲染前的初始链接集合（返回类型为set，支持difference方法）
   pre_render_urls = r.html.absolute_links
   

2. 完成JS无界面渲染后，再抓取渲染后的全量链接集合：

   await r.html.arender()
   post_render_urls = r.html.absolute_links
   

3. 对两个同类型的集合做差，直接拿到JS渲染阶段新生成的链接：

   # 得到仅在渲染后存在的、由JS生成的链接
   js_new_urls = post_render_urls.difference(pre_render_urls)
   

如果你确实需要拿到新增链接对应的<a>元素对象（而非纯链接字符串），需要先把find()返回的列表转成set类型，再执行差集运算：

# 渲染前把a标签列表转成可哈希的集合
pre_render_a_tags = set(r.html.find('a'))
await r.html.arender()
# 渲染后同样转成集合再做差
post_render_a_tags = set(r.html.find('a'))
new_a_tags = post_render_a_tags.difference(pre_render_a_tags)

• 不要给列表直接调用集合方法，列表本身没有内置差集、交集运算能力，需要运算时必须先通过set()完成类型转换。
• 必须等arender()的异步流程完全完成后再抓取新的页面元素，否则拿到的内容还是渲染前的初始DOM，差集计算会失效。
• 如果需要过滤特定类别的链接（比如仅保留下载类链接），可以在拿到js_new_urls之后加一层字符串匹配规则，不用在差集计算阶段额外处理。

内容的提问来源于stack exchange，提问作者Draco D