使用R进行网页爬取：findElement无法识别下拉菜单

针对你遇到的问题，以下是关键解决步骤和代码示例：

1. 检查并切换到iframe #

多数政府网站的交互式工具会嵌入在iframe中，这是元素找不到的常见原因。进入目标页面后，先完成iframe切换：

# 等待iframe加载完成，再切换上下文
obj$waitForElement(using = "css", value = "iframe", timeout = 10000)
iframe <- obj$findElement(using = "css", value = "iframe")
obj$switchToFrame(iframe)

2. 用显式等待替代直接查找元素 #

动态页面元素加载存在延迟，必须等待元素可交互后再操作，避免NoSuchElement错误：

# 封装等待+点击的复用函数
wait_and_click <- function(driver, using, value) {
  driver$waitForElement(using = using, value = value, timeout = 10000)
  elem <- driver$findElement(using = using, value = value)
  elem$clickElement()
}

3. 正确处理combobox组件 #

combobox需要先点击触发下拉列表，再选择对应选项。以地区下拉菜单为例：

# 点击地区combobox展开下拉列表
wait_and_click(obj, "xpath", "//*[@aria-label='Región']") # 可根据实际元素的aria-label/id调整

# 选择指定地区（示例：阿里卡和帕里纳科塔）
wait_and_click(obj, "xpath", "//div[@role='listbox']//div[text()='Arica y Parinacota']")

4. 遍历所有选项的完整实现 #

如果要批量遍历地区、年份、作物的所有组合，可先获取所有选项文本，再循环操作：

# 获取所有地区选项的文本
wait_and_click(obj, "xpath", "//*[@aria-label='Región']")
region_options <- obj$findElements(using = "xpath", "//div[@role='listbox']//div[@role='option']")
region_texts <- sapply(region_options, function(x) x$getElementText()[[1]])
obj$findElement(using = "xpath", "//body")$clickElement() # 关闭下拉列表

# 循环遍历每个地区
for (region in region_texts) {
  # 选择当前地区
  wait_and_click(obj, "xpath", "//*[@aria-label='Región']")
  wait_and_click(obj, "xpath", sprintf("//div[@role='listbox']//div[text()='%s']", region))
  
  # 同理处理年份、作物的选择逻辑...
  
  # 爬取当前组合的表格数据
  table <- obj$findElement(using = "css", value = "table")
  table_html <- table$getElementAttribute("outerHTML")[[1]]
  table_df <- read_html(table_html) %>% html_table(fill = TRUE)
  # 保存数据到本地
  write_csv(table_df, sprintf("catastro_%s.csv", gsub(" ", "_", region)))
}

额外注意事项 #

• 确认元素属性：用浏览器开发者工具（F12）查看combobox的aria-label、id或class，不要依赖Selector Gadget生成的不稳定xpath。
• 处理Cookie弹窗：部分页面会弹出Cookie提示，需提前关闭：

tryCatch({
  wait_and_click(obj, "xpath", "//button[text()='Aceptar']")
}, error = function(e) {
  message("无Cookie弹窗")
})

• 定期重启会话：长时间循环后关闭并重启浏览器，避免内存溢出：

obj$close()
rdriver$server$stop()

内容的提问来源于stack exchange，提问作者Benji Reade Malagueño