如何在R的rvest工具中启用JavaScript以获取登录页面？

rvest的read_html()仅能抓取服务器直接返回的静态HTML，不会执行页面中的JavaScript代码。目标网站的登录表单是通过JS动态渲染生成的，因此当rvest请求页面时，服务器检测到请求未携带JS执行环境的标识，返回了"JavaScript is not enabled"的提示页面，而非包含登录表单的完整页面。

要获取动态渲染的页面内容，需要使用能模拟浏览器执行JS的工具，以下是两种可行方案：

方案一：使用RSelenium（模拟真实浏览器） #

RSelenium可以控制真实浏览器（如Chrome）加载页面并执行JS，完全模拟用户浏览行为：

步骤1：安装依赖包 #

install.packages("RSelenium")

同时需要对应浏览器的驱动（如ChromeDriver），确保驱动版本与本地Chrome版本匹配。

步骤2：编写爬取代码 #

library(RSelenium)
library(rvest)

# 启动Chrome浏览器会话
driver <- rsDriver(browser = "chrome", port = 4567L)
remDr <- driver[["client"]]

# 访问目标URL（替换为实际登录页完整地址）
remDr$navigate("https://google.com")

# 等待页面渲染完成（可根据实际情况调整等待时间）
Sys.sleep(3)

# 获取渲染后的页面源码
page_source <- remDr$getPageSource()[[1]]
login_page <- read_html(page_source)

# 提取登录表单
form <- login_page %>% html_elements("div[data-js='login-form']")
print(form)

# 关闭浏览器会话
remDr$close()
driver$server$stop()

方案二：使用chromote包（轻量无头浏览器） #

chromote是更轻量的无头浏览器控制工具，无需启动可视化浏览器窗口：

步骤1：安装依赖包 #

install.packages("chromote")

步骤2：编写爬取代码 #

library(chromote)
library(rvest)

# 启动无头Chrome会话
b <- ChromoteSession$new()

# 访问目标URL
b$Page$navigate(url = "https://google.com")
b$Page$loadEventFired(wait_ = TRUE)

# 获取渲染后的页面源码
page_source <- b$Runtime$evaluate("document.documentElement.outerHTML")$result$value
login_page <- read_html(page_source)

# 提取登录表单
form <- login_page %>% html_elements("div[data-js='login-form']")
print(form)

# 关闭会话
b$close()

• 确保目标URL是完整的（包含http://或https://），原代码中url <- "google.com"会导致请求失败。
• 部分网站会检测自动化工具，可能需要添加请求头、设置随机延迟，避免触发反爬机制。
• 登录操作涉及用户隐私，需严格遵守网站的服务条款，禁止未经授权的爬取行为。

内容的提问来源于stack exchange，提问作者mfg3z0