You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

使用rvest爬取CGSpace时无法获取作者信息的技术求助

问题:CGSpace爬虫脚本无法获取作者信息

之前有Stack社区的用户协助编写了爬取CGSpace的R脚本,我对其修改以添加更多属性,但在尝试获取作者信息时遇到了问题。作者标签与target和href属性关联,当前脚本中获取作者的部分无法正常拿到信息,尝试其他选择器也仅返回NA,相关脚本如下:

library(tidyverse)
library(rvest)

startTime <- Sys.time()
get_cg <- function(pages) {

  cat("Scraping page", pages, "\n")

  page <- 
  str_c("https://cgspace.cgiar.org/discover?scope=10568%2F106146&query=cassava&submit=&rpp=10&page=", pages) %>%
  read_html()


  tibble(
    title = page %>%
      html_elements(".ds-artifact-item") %>%
      html_element(".description-info") %>%
      html_text2(), # 运行正常

    fecha = page %>% 
      html_elements(".ds-artifact-item") %>%
      html_element(".date") %>%
      html_text2(), # 运行正常

    Type = page %>% 
      html_elements(".ds-artifact-item") %>%
      html_element(".artifact-type") %>%
      html_text2(), # 运行正常

    Autor= page %>% 
      html_elements(".ds-artifact-item") %>% 
      html_element(".description-info") %>%
      html_attr("href"), # 无法获取作者信息

    link = page %>%
      html_elements(".ds-artifact-item") %>%
      html_element(".description-info") %>%
      html_attr("href") %>% # 运行正常
      str_c("https://cgspace.cgiar.org", .)
  )
}

df <- map_dfr(1, get_cg)

endTime <- Sys.time()
print(endTime - startTime)

内容的提问来源于stack exchange,提问作者Miguel Angel Acosta Chinchilla

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.09 15:40:24