R语言如何批量爬取多页静态站点的全量书籍标题
全量书籍标题批量爬取实现方案
这个测试站点的分页URL为固定规则结构,无需额外解析页面分页元素,直接基于规则生成全量地址,复用现有单页提取逻辑即可完成1000条标题的爬取,全流程可无缝衔接已写好的指标计算逻辑,无需改动后续分析部分。
核心实现步骤
- 加载匹配现有代码逻辑的依赖包
library(rvest) library(magrittr) - 基于站点固定规则生成全部分页的URL列表:站点共50个分页,URL结构为
http://books.toscrape.com/catalogue/page-{页码}.html,页码覆盖1到50的连续范围page_num <- 1:50 all_page_url <- paste0("http://books.toscrape.com/catalogue/page-", page_num, ".html") - 逐页爬取并拼接全量标题,加入合理请求间隔避免触发站点简易反爬
all_titles <- c() # 初始化空向量存储全量标题 for (current_url in all_page_url) { # 完全复用已验证可跑通的单页提取逻辑 current_page_titles <- current_url %>% read_html() %>% html_nodes('h3 a') %>% html_attr('title') # 将当前页标题追加到全量列表 all_titles <- c(all_titles, current_page_titles) # 0.5秒请求间隔,模拟正常浏览节奏,避免请求过快被拦截 Sys.sleep(0.5) }
结果验证与可选优化
- 爬取完成后执行
length(all_titles),返回结果为1000即代表数据采集完整,后续直接将原有指标计算的输入对象从单页的titles替换为all_titles即可,所有计算逻辑无需调整。 - 若偏好更简洁的代码写法,可使用purrr包的迭代函数替代手动循环,提取逻辑完全一致:
all_titles <- purrr::map_chr(all_page_url, ~{ .x %>% read_html() %>% html_nodes("h3 a") %>% html_attr("title") })
新手爬取注意事项
- 不要设置零请求间隔,该站点有基础的频率限制,连续快速请求会出现页面加载无有效内容的情况,0.3-1秒的间隔即可稳定完成全量爬取。
- 该站点分页URL规则完全固定,硬编码生成分页地址的稳定性远高于从页面解析分页跳转链接,不会因为页面DOM结构小幅变动出现分页漏抓问题。
内容的提问来源于stack exchange,提问作者csPYTHONcs
相关产品推荐
相关产品推荐

