You need to enable JavaScript to run this app. 使用rvest实现网页高层级分类与其下多条爬取内容的关联问题
优惠活动
大模型
产品
解决方案
定价
更多

使用rvest实现网页高层级分类与其下多条爬取内容的关联问题

解决方法

核心逻辑是先定位到每个分类的独立容器节点,逐个遍历分类,在单个分类节点范围内爬取对应节目信息,天然就能完成分类和节目的关联,不需要后续手动对齐长度。

完整实现代码

# 加载所需包
library(rvest)
library(dplyr)
library(purrr)

# 读取页面
page <- read_html("https://www.bbc.co.uk/iplayer")

# 遍历所有分类区块,合并结果
df_final <- page %>%
  # 定位每个分类的父容器节点
  html_nodes("section.section") %>%
  map_df(~{
    # 获取当前分类名
    category <- .x %>% 
      html_node("div.section__header") %>% 
      html_text(trim = TRUE)
    
    # 在当前分类下爬取所有节目信息
    title <- .x %>%
      html_nodes("div.content-item__title.typo.typo--skylark.typo--bold") %>%
      html_text(trim = TRUE)
    genre <- .x %>%
      html_nodes("div.content-item__labels") %>%
      html_text(trim = TRUE)
    synopsis <- .x %>%
      html_nodes("div.content-item__info__primary") %>%
      html_text(trim = TRUE)
    
    # 返回当前分类的所有节目数据,自动带上分类字段
    tibble(
      category = category,
      title = title,
      genre = genre,
      synopsis = synopsis
    )
  })

代码说明

  • 用html_nodes("section.section")定位到每个分类的完整容器,每个容器包含了分类标题和该分类下所有节目
  • 用map_df遍历每个分类容器,遍历过程中先提取当前分类名,再提取该容器下的所有节目字段,生成的tibble会自动按行合并所有分类的结果
  • 自动完成分类和节目的对应,不会出现长度不匹配的问题

内容的提问来源于stack exchange,提问作者Japes

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 11:39:00