使用rvest爬取CGSpace时无法获取作者信息的技术求助
问题:CGSpace爬虫脚本无法获取作者信息
之前有Stack社区的用户协助编写了爬取CGSpace的R脚本,我对其修改以添加更多属性,但在尝试获取作者信息时遇到了问题。作者标签与target和href属性关联,当前脚本中获取作者的部分无法正常拿到信息,尝试其他选择器也仅返回NA,相关脚本如下:
library(tidyverse) library(rvest) startTime <- Sys.time() get_cg <- function(pages) { cat("Scraping page", pages, "\n") page <- str_c("https://cgspace.cgiar.org/discover?scope=10568%2F106146&query=cassava&submit=&rpp=10&page=", pages) %>% read_html() tibble( title = page %>% html_elements(".ds-artifact-item") %>% html_element(".description-info") %>% html_text2(), # 运行正常 fecha = page %>% html_elements(".ds-artifact-item") %>% html_element(".date") %>% html_text2(), # 运行正常 Type = page %>% html_elements(".ds-artifact-item") %>% html_element(".artifact-type") %>% html_text2(), # 运行正常 Autor= page %>% html_elements(".ds-artifact-item") %>% html_element(".description-info") %>% html_attr("href"), # 无法获取作者信息 link = page %>% html_elements(".ds-artifact-item") %>% html_element(".description-info") %>% html_attr("href") %>% # 运行正常 str_c("https://cgspace.cgiar.org", .) ) } df <- map_dfr(1, get_cg) endTime <- Sys.time() print(endTime - startTime)
内容的提问来源于stack exchange,提问作者Miguel Angel Acosta Chinchilla
相关产品推荐
相关产品推荐

