在R管道(%>%)中高效提取HTML元素文本与属性的优化方案

针对你当前基于tidyverse/httr2/rvest的爬取需求，从解析效率、请求方式、并发处理三个维度给出具体优化方案：

1. 解析层面：用向量化操作替代map_dfr循环 #

当前逐个遍历label元素的map_dfr存在循环开销，利用rvest的向量化特性直接处理节点集合，能大幅降低单页面解析耗时：

library(tidyverse)
library(httr2)
library(rvest)

# 优化后的单页面解析函数
parse_page <- function(resp) {
  resp %>%
    html_elements("label") %>%
    {
      tibble(
        text = html_text2(.),
        for_attr = html_attr(., "for")
      )
    }
}

# 调用示例
req <- request("https://target-url.com") %>% req_perform()
parse_page(req)

核心逻辑：html_text2()和html_attr()支持直接接收节点集合作为输入，返回向量结果，无需逐个元素循环，消除了迭代式map的额外开销。

2. 请求层面：用异步批量请求替代串行请求 #

httr2的req_perform_parallel()支持异步批量请求多个URL，比串行的map_dfr(req_perform)效率提升明显，尤其适合大量页面爬取：

# 构造所有目标请求列表
url_list <- c("https://target-url.com/page1", "https://target-url.com/page2", ...)
req_list <- map(url_list, ~request(.x) %>% req_user_agent("Mozilla/5.0"))

# 异步请求+批量解析
results <- req_perform_parallel(req_list, max_concurrent = 8) %>%
  map_dfr(parse_page)

注意：根据目标网站反爬规则调整max_concurrent参数（默认10），避免触发拦截机制。

3. 并发处理：多进程并行解析（CPU密集场景适配） #

如果页面解析逻辑复杂（比如需处理大量节点），用furrr实现多进程并行，进一步提升批量处理速度：

library(furrr)

# 初始化多进程会话（workers数根据CPU核心调整）
plan(multisession, workers = 4)

# 并行请求+解析
results <- future_map_dfr(url_list, function(url) {
  request(url) %>%
    req_perform() %>%
    parse_page()
})

# 关闭并行会话
plan(sequential)

场景区分：异步请求适合IO密集的网络场景，多进程并行适合CPU密集的解析场景，可按需选择。

4. 额外优化项 #

• 缓存重复请求：用req_cache()缓存已请求页面，避免重复下载：

  request(url) %>%
    req_cache(path = "page_cache") %>%
    req_perform()
  

• 缩小解析范围：若目标label在特定父节点内（如div.form-group），先定位父节点再提取，减少解析节点数量：

  resp %>%
    html_element("div.form-group") %>%
    html_elements("label") %>%
    {tibble(text = html_text2(.), for_attr = html_attr(., "for"))}
  

内容的提问来源于stack exchange，提问作者HoelR