如何在RStudio中编写for循环批量爬取同一网站多页数据?
问题定位与修正方案
原代码无法运行的核心问题
- 循环逻辑和站点分页规则错配:目标站点的页码直接对应URL里的Page参数值(第1页为Page=1、第4页为Page=4),不需要以25为步长计算偏移量,原代码
seq(from =1, to = 101, by = 25)生成的序列完全匹配不上实际的页码规则 - 链接未嵌入动态页码:原代码把Page参数硬编码为固定值2,不管循环执行到哪一步,请求的都是第2页内容,没有实现跨页遍历
- 语法与格式错误:字符串用了中文全角引号,链接参数把&转成了
&,URL开头多了多余空格,都会导致R识别字符串、发起请求失败 - 缺少结果存储逻辑:每轮循环都把爬取内容覆盖赋值给
page变量,循环结束后不会留存任何可复用的爬取结果
可直接落地的实现代码
# 加载已安装的依赖包 library(rvest) library(dplyr) # 提前初始化空数据框存储全量爬取结果,列名替换为你单页提取时定义的实际字段 all_job_data <- data.frame( job_title = character(), company_name = character(), post_date = character(), stringsAsFactors = FALSE ) # 遍历需要爬取的4个页码 for (current_page in 1:4) { # 用paste0拼接带动态页码的URL,直接把循环变量嵌到Page参数末尾 target_link <- paste0( "https://www.irishjobs.ie/ShowResults.aspx?Keywords=Data&autosuggestEndpoint=%2fautosuggest&Location=0&Category=&Recruiter=Company&btnSubmit=Search&Page=", current_page ) # 读取页面源码 page_source <- read_html(target_link) # 替换为你已经验证过、能正常提取单页25条数据的解析逻辑 # 只需要把解析得到的单页结果赋值给page_single即可 page_single <- page_source %>% # 下方选择器替换为你用Selector Gadget选中的实际元素路径 html_elements(".job-search-result") %>% # 对应单页字段的提取逻辑 html_text2() # 把当前页的结果追加到全量存储的数据框里 all_job_data <- bind_rows(all_job_data, page_single) # 加1秒延迟,避免高频请求被站点拦截 Sys.sleep(1) }
关键操作说明
- 动态嵌入页码的核心:拼接链接时把原来固定写死的
Page=2拆成两部分,前面的固定链接字符串写到Page=就停,后面直接接循环里的页码变量,paste0会自动把数字转成字符串拼成完整URL,不需要手动逐页修改链接 - 不要在循环里反复覆盖同一个存储变量,提前定义空的全量存储容器,每轮爬完就合并结果,是批量爬取的基础逻辑
- 把之前代码里的所有中文全角引号全部替换为英文半角引号,R才能正确识别字符串边界
内容的提问来源于stack exchange,提问作者kevin
相关产品推荐
相关产品推荐

