使用R语言rvest库爬取谷歌搜索结果条数失败如何解决

问题原因 #

• 直接调用read_html()访问谷歌搜索链接时，请求未携带浏览器身份标识，谷歌的反爬机制会识别为非人类访问，返回的页面结构和普通用户看到的正常搜索结果页完全不同，不存在你定位的#result-stats节点，因此提取结果为空。
• 第二个报错的触发原因是html_nodes()没有匹配到任何节点时会返回空的xml节点集合，传入html_text()时没有有效输入对象，就会触发参数x缺失的报错。

解决方法 #

你需要借助httr包构造带请求头的请求，模拟正常浏览器访问，再提取对应字段，可用代码如下：

# 加载依赖包，未安装的话先运行 install.packages(c("tidyverse","rvest","httr"))
library(tidyverse)
library(rvest)
library(httr)

# 构造搜索URL
search_keyword <- "Rvest google search result"
url <- paste0("https://www.google.com/search?q=", URLencode(search_keyword))

# 构造请求头，模拟Chrome浏览器访问
response <- GET(url, 
                user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36")
)

# 解析返回的页面内容
scrape <- read_html(response)

# 提取结果条数字段
search_result <- html_nodes(scrape, "#result-stats") %>% 
  html_text()

# 输出原始结果
print(search_result)

# 可选：从文本中提取纯数字结果
result_count <- str_extract(search_result, "约 ([0-9,]+) 条") %>% 
  str_remove_all("约 |,| 条") %>% 
  as.numeric()

print(result_count)

注意事项 #

• 谷歌反爬机制严格，短时间内频繁发起请求会触发验证码或者IP封禁，测试时建议每次请求间隔3秒以上，不要大批量爬取。
• 不同区域、不同语言设置下谷歌返回的结果统计文本格式会有差异，提取数字的正则表达式可以根据实际返回的文本格式调整。

参考图示：

内容的提问来源于stack exchange，提问作者Hus Has