使用rvest实现网页高层级分类与其下多条爬取内容的关联问题
解决方法
核心逻辑是先定位到每个分类的独立容器节点,逐个遍历分类,在单个分类节点范围内爬取对应节目信息,天然就能完成分类和节目的关联,不需要后续手动对齐长度。
完整实现代码
# 加载所需包 library(rvest) library(dplyr) library(purrr) # 读取页面 page <- read_html("https://www.bbc.co.uk/iplayer") # 遍历所有分类区块,合并结果 df_final <- page %>% # 定位每个分类的父容器节点 html_nodes("section.section") %>% map_df(~{ # 获取当前分类名 category <- .x %>% html_node("div.section__header") %>% html_text(trim = TRUE) # 在当前分类下爬取所有节目信息 title <- .x %>% html_nodes("div.content-item__title.typo.typo--skylark.typo--bold") %>% html_text(trim = TRUE) genre <- .x %>% html_nodes("div.content-item__labels") %>% html_text(trim = TRUE) synopsis <- .x %>% html_nodes("div.content-item__info__primary") %>% html_text(trim = TRUE) # 返回当前分类的所有节目数据,自动带上分类字段 tibble( category = category, title = title, genre = genre, synopsis = synopsis ) })
代码说明
- 用
html_nodes("section.section")定位到每个分类的完整容器,每个容器包含了分类标题和该分类下所有节目 - 用
map_df遍历每个分类容器,遍历过程中先提取当前分类名,再提取该容器下的所有节目字段,生成的tibble会自动按行合并所有分类的结果 - 自动完成分类和节目的对应,不会出现长度不匹配的问题
内容的提问来源于stack exchange,提问作者Japes
相关产品推荐
相关产品推荐

