Rvest爬取需登录网站时无法识别登录表单问题咨询

核心原因 #

你的猜测是正确的，该站点的登录表单属于JavaScript动态渲染内容，rvest本身不具备JS执行能力，仅能读取请求返回的初始静态HTML源码。你可以手动查看该页面的初始静态源代码，会发现登录对应的<form>标签不在初始返回内容中，是页面加载完成后JS动态插入到DOM结构里的，因此rvest的html_form方法无法识别到该表单。

可行解决方法 #

• 方案1：直接构造登录请求，跳过表单解析步骤
  打开浏览器开发者工具的网络面板，手动执行一次登录操作，抓取登录时提交的POST请求，记录下请求地址、请求头、表单参数（包含账号密码字段、站点校验用的csrf令牌等），直接用httr包的POST方法或者rvest的submit_form方法构造请求提交即可，不需要解析前端页面的表单结构。
  提交时注意附带站点返回的所有必要Cookie，以及和浏览器一致的User-Agent请求头，避免被站点反爬策略拦截。
• 方案2：搭配支持JS渲染的工具获取完整页面
  可以使用RSelenium、webdriver等支持浏览器自动化的R包，启动无头浏览器加载页面，等待JS执行完成、登录表单渲染出来之后，再提取完整的页面源码传给rvest解析，就能正常识别到登录表单。
  参考示例代码：

  library(RSelenium)
  library(rvest)
  # 启动无头Chrome（需要提前配置对应版本的Chrome驱动）
  driver <- rsDriver(browser = "chrome", verbose = FALSE, port = 4444L)
  remDr <- driver$client
  # 跳转登录页
  remDr$navigate("https://www.drugs.com/account/login/")
  # 等待页面渲染完成
  Sys.sleep(3)
  # 获取渲染后的完整页面源码
  full_page <- remDr$getPageSource()[[1]]
  # 传给rvest解析表单
  login_forms <- read_html(full_page) %>% html_form()
  

• 方案3：如果是临时小批量爬取，可以直接从浏览器中复制已登录状态的Cookie，添加到rvest的请求头中，直接跳过登录流程爬取目标页面。

内容的提问来源于stack exchange，提问作者Vitruves