基于BeautifulSoup的网页爬取：无href或nav-link时如何处理下一页按钮？

嘿，我碰到过好几次这种情况，这种没有直接href的分页按钮，基本都是JavaScript动态触发页面跳转/数据加载的，不是传统的静态链接。给你几个实用的解决思路：

1. 抓网络请求（最推荐） #

打开浏览器的开发者工具（按F12），切换到「Network」标签，然后点击页面上的「下一页」按钮。你会看到新出现的请求，大概率是XHR或者Fetch类型的，这些请求的URL就是获取下一页数据的接口。

• 比如可能是https://目标网站.com/apartments?page=2这种带页码参数的URL，你直接修改page参数就能构造所有页面的链接，根本不用管页面上的按钮。
• 注意看请求的参数，有些网站可能用offset或者limit代替page，比如offset=20表示从第21条数据开始加载，对应第二页。

2. 提取按钮的自定义属性 #

很多网站会把分页信息存在按钮的自定义data属性里，你可以修改你的代码，打印这些属性看看：

nav = soup.nav
for a_tag in nav.find_all('a'):
    # 打印所有可能的自定义属性
    print("Data-page 属性:", a_tag.get('data-page'))
    print("Data-url 属性:", a_tag.get('data-url'))
    print("Onclick 事件:", a_tag.get('onclick'))

• 如果有data-url="/apartments?page=2"，直接把这个相对路径和网站主域名拼接成完整URL就行。
• 如果是onclick="goToPage(2)"这种JS函数，你可以解析函数里的页码参数，自己构造URL（比如主域名 + /apartments?page= + 页码）。

3. 模拟点击获取当前URL（兜底方案） #

如果上面两种方法都不行，就用Selenium或者Playwright这类自动化工具模拟点击按钮，然后直接获取跳转后的页面URL：
比如用Selenium的示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("目标网站第一页URL")

# 找到下一页按钮并点击（这里需要根据按钮的实际选择器修改，比如用class或者text）
next_btn = driver.find_element(By.XPATH, "//nav//a[text()='下一页']")
next_btn.click()

# 获取跳转后的第二页URL
second_page_url = driver.current_url
print(second_page_url)

driver.quit()

这种方法虽然麻烦一点，但能应对绝大多数动态加载的分页场景。

内容的提问来源于stack exchange，提问作者karwi