使用R脚本抓取网站链接失败的技术求助

核心问题分析 #

• 未指定目标URL：脚本缺少待抓取的网页地址，无法发起请求获取页面内容
• XPath规则错误：定位到的是触发JS交互的伪链接元素，而非包含真实跳转地址的有效标签

分步修复步骤 #

1. 补充目标URL #

先确定你要抓取的搜索结果页面地址，使用rvest包加载页面：

library(rvest)
# 替换为你的目标搜索结果页面真实URL
target_url <- "https://your-target-search-page.com"
page <- read_html(target_url)

2. 修正XPath规则 #

出现javascript:;是因为你定位到了按钮类交互元素，而非实际的<a>链接标签。需通过浏览器开发者工具查看搜索结果链接的HTML结构，调整XPath：

• 示例：若有效链接在带特定类名的<a>标签中，可使用如下规则：

# 替换为匹配你目标页面有效链接的XPath
valid_links <- page %>% html_elements(xpath = "//div[contains(@class, 'result-item')]/a") %>% html_attr("href")

• 若提取的是相对路径，拼接为完整URL：

full_links <- paste0("https://your-target-domain.com", valid_links)

3. 过滤无效值 #

提取后清理空值和javascript:;这类无效链接：

clean_links <- full_links[!full_links %in% c("", "javascript:;")]

额外提示 #

• 若目标页面是JS动态渲染的内容，静态抓取失败时，可尝试RSelenium或playwright包处理动态页面
• 抓取前遵守网站robots.txt规则，控制请求频率避免IP被封禁

内容的提问来源于stack exchange，提问作者user21125763