You need to enable JavaScript to run this app. R语言如何批量爬取多页静态站点的全量书籍标题
优惠活动
大模型
产品
解决方案
定价
更多

R语言如何批量爬取多页静态站点的全量书籍标题

全量书籍标题批量爬取实现方案

这个测试站点的分页URL为固定规则结构,无需额外解析页面分页元素,直接基于规则生成全量地址,复用现有单页提取逻辑即可完成1000条标题的爬取,全流程可无缝衔接已写好的指标计算逻辑,无需改动后续分析部分。

核心实现步骤

  • 加载匹配现有代码逻辑的依赖包
    library(rvest)
    library(magrittr)
    
  • 基于站点固定规则生成全部分页的URL列表:站点共50个分页,URL结构为http://books.toscrape.com/catalogue/page-{页码}.html,页码覆盖1到50的连续范围
    page_num <- 1:50
    all_page_url <- paste0("http://books.toscrape.com/catalogue/page-", page_num, ".html")
    
  • 逐页爬取并拼接全量标题,加入合理请求间隔避免触发站点简易反爬
    all_titles <- c() # 初始化空向量存储全量标题
    for (current_url in all_page_url) {
      # 完全复用已验证可跑通的单页提取逻辑
      current_page_titles <- current_url %>%
        read_html() %>%
        html_nodes('h3 a') %>%
        html_attr('title')
      # 将当前页标题追加到全量列表
      all_titles <- c(all_titles, current_page_titles)
      # 0.5秒请求间隔,模拟正常浏览节奏,避免请求过快被拦截
      Sys.sleep(0.5)
    }
    

结果验证与可选优化

  • 爬取完成后执行length(all_titles),返回结果为1000即代表数据采集完整,后续直接将原有指标计算的输入对象从单页的titles替换为all_titles即可,所有计算逻辑无需调整。
  • 若偏好更简洁的代码写法,可使用purrr包的迭代函数替代手动循环,提取逻辑完全一致:
    all_titles <- purrr::map_chr(all_page_url, ~{
      .x %>% 
        read_html() %>% 
        html_nodes("h3 a") %>% 
        html_attr("title")
    })
    

新手爬取注意事项

  • 不要设置零请求间隔,该站点有基础的频率限制,连续快速请求会出现页面加载无有效内容的情况,0.3-1秒的间隔即可稳定完成全量爬取。
  • 该站点分页URL规则完全固定,硬编码生成分页地址的稳定性远高于从页面解析分页跳转链接,不会因为页面DOM结构小幅变动出现分页漏抓问题。

内容的提问来源于stack exchange,提问作者csPYTHONcs

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.27 02:54:01