如何使用BeautifulSoup检查按钮禁用状态以判断网页分页？

现有代码的常见问题 #

• 动态类名依赖：代码中使用的_jro6t0、_za9j7e属于Airbnb前端打包生成的动态哈希类，这类类名会随前端版本迭代随机变更，硬绑定类名会导致代码很快失效
• 空值校验缺失：链式调用.find()时没有做存在性判断，如果对应元素不存在，会直接触发NoneType属性调用的报错
• 匹配逻辑偏差：代码中直接取分页div下的任意a标签作为下一页链接，没有精准定位下一页对应的交互元素，容易误取到上一页、页码跳转等其他链接的地址

优化后的可运行实现 #

核心思路：优先使用页面语义化标签、无障碍属性做元素匹配，减少对动态类名的依赖，同时覆盖多场景的禁用状态判断

def findNextPage(soupPage):
    # 定位分页导航容器，优先匹配语义化nav标签
    pagination_container = soupPage.find("nav", {"aria-label": "分页导航"})
    if not pagination_container:
        return "no next page"
    
    # 精准定位下一页交互元素，用无障碍标签做匹配，稳定性远高于动态类名
    next_entry = pagination_container.find("a", {"aria-label": "下一页"})
    if not next_entry:
        return "no next page"
    
    # 覆盖两类常见的禁用状态：原生disabled属性、无障碍标记的aria-disabled状态
    is_disabled = next_entry.has_attr("disabled") or next_entry.get("aria-disabled") == "true"
    if is_disabled:
        return "no next page"
    
    return "https://airbnb.com" + next_entry["href"]

实操注意事项 #

• 爬取SPA类站点时，不要把动态生成的哈希类作为核心选择依据，优先匹配带明确语义、不会随版本频繁变更的属性（如aria-label、语义化标签、固定data-*属性）
• 不同场景下的按钮禁用表现存在差异：有的禁用按钮会保留在DOM中并加disabled属性，有的会通过aria-disabled="true"标记禁用状态，还有的会直接移除可跳转的href属性，需要在检测逻辑中覆盖这类分支
• 所有元素查找操作要加前置空值判断，避免页面轻微结构变动就导致程序中断

内容的提问来源于stack exchange，提问作者Abdo