R语言rvest爬取Indeed数据时如何跳转生成链接抓取新页面且无需函数
解决方案
核心说明
完全可以不使用自定义函数完成详情页抓取,你拼接好的combined_link就是有效的详情页访问地址,直接用read_html()逐个访问这些地址即可抓取新页面数据,不需要额外的「跳转」操作。
注意事项
抓取前建议加上随机延时,避免触发Indeed的反爬机制导致IP被限制。
完整实现代码
library(tidyverse) library(rvest) library(xml2) # 你原有代码保留 url<-"https://www.indeed.com/jobs?q=data%20analyst&l=San%20Diego%2C%20CA&vjk=0c2a6008b4969776" page<-xml2::read_html(url) title<-page %>% html_nodes(".jobTitle") %>% html_text() loc<-page %>% html_nodes(".companyLocation") %>% html_text() snippet <- page %>% html_nodes(".job-snippet") %>% html_text() desc<- page %>% html_nodes("a[data-jk]") %>% html_attr("href") combined_link <- paste("https://www.indeed.com", desc, sep="") # ========== 新增详情页抓取逻辑 ========== # 先把已有列表数据存为数据框,新增空列存职位详情 job_data <- tibble( 职位名称 = title, 公司位置 = loc, 职位简介 = snippet, 详情页链接 = combined_link, 职位详情 = NA ) # 用for循环遍历所有链接抓取,无需自定义函数 for (n in 1:nrow(job_data)) { # 加2-3秒随机延时,模拟正常访问 Sys.sleep(sample(2:3,1)) # 容错处理:个别链接请求失败时跳过,避免脚本中断 detail_page <- try(read_html(job_data$详情页链接[n]), silent = T) if (inherits(detail_page, "try-error")) next # 提取职位详情内容,#jobDescriptionText是Indeed详情页通用的内容节点 job_data$职位详情[n] <- detail_page %>% html_node("#jobDescriptionText") %>% html_text(trim = T) } # 最终所有数据都存在job_data数据框中,可直接导出
补充说明
- 如果确实不想用for循环,也可以用
lapply()直接遍历combined_link完成抓取,同样不需要自定义函数 - 若后续Indeed页面改版导致节点选择器失效,可通过浏览器F12开发者工具重新定位对应节点的CSS选择器替换即可
内容的提问来源于stack exchange,提问作者Trying to Learn Javascript
相关产品推荐
相关产品推荐

