You need to enable JavaScript to run this app. R语言rvest爬取Indeed数据时如何跳转生成链接抓取新页面且无需函数
优惠活动
大模型
产品
解决方案
定价
更多

R语言rvest爬取Indeed数据时如何跳转生成链接抓取新页面且无需函数

解决方案

核心说明

完全可以不使用自定义函数完成详情页抓取,你拼接好的combined_link就是有效的详情页访问地址,直接用read_html()逐个访问这些地址即可抓取新页面数据,不需要额外的「跳转」操作。

注意事项

抓取前建议加上随机延时,避免触发Indeed的反爬机制导致IP被限制。

完整实现代码

library(tidyverse)
library(rvest)
library(xml2)

# 你原有代码保留
url<-"https://www.indeed.com/jobs?q=data%20analyst&l=San%20Diego%2C%20CA&vjk=0c2a6008b4969776"
page<-xml2::read_html(url)

title<-page %>%
  html_nodes(".jobTitle") %>%
  html_text()
  
loc<-page %>%
  html_nodes(".companyLocation") %>%
  html_text()

snippet <- page %>%
  html_nodes(".job-snippet") %>%
  html_text()

desc<- page %>%
  html_nodes("a[data-jk]") %>%
  html_attr("href") 

combined_link <- paste("https://www.indeed.com", desc, sep="")

# ========== 新增详情页抓取逻辑 ==========
# 先把已有列表数据存为数据框,新增空列存职位详情
job_data <- tibble(
  职位名称 = title,
  公司位置 = loc,
  职位简介 = snippet,
  详情页链接 = combined_link,
  职位详情 = NA
)

# 用for循环遍历所有链接抓取,无需自定义函数
for (n in 1:nrow(job_data)) {
  # 加2-3秒随机延时,模拟正常访问
  Sys.sleep(sample(2:3,1))
  
  # 容错处理:个别链接请求失败时跳过,避免脚本中断
  detail_page <- try(read_html(job_data$详情页链接[n]), silent = T)
  if (inherits(detail_page, "try-error")) next
  
  # 提取职位详情内容,#jobDescriptionText是Indeed详情页通用的内容节点
  job_data$职位详情[n] <- detail_page %>%
    html_node("#jobDescriptionText") %>%
    html_text(trim = T)
}

# 最终所有数据都存在job_data数据框中,可直接导出

补充说明

  • 如果确实不想用for循环,也可以用lapply()直接遍历combined_link完成抓取,同样不需要自定义函数
  • 若后续Indeed页面改版导致节点选择器失效,可通过浏览器F12开发者工具重新定位对应节点的CSS选择器替换即可

内容的提问来源于stack exchange,提问作者Trying to Learn Javascript

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 22:06:01