使用R语言rvest库通过XPath抓取海报标题不稳定问题问询

问题原因分析 #

导致提取不稳定的核心原因是你使用了浏览器自动生成的绝对路径XPath，这类定位方式本身抗干扰能力极弱，具体触发原因通常有以下几种：

• 页面结构存在动态变化：该网站存在异步加载、个性化内容插入（如临时公告、广告模块）等逻辑，你在浏览器开发者工具中看到的DOM结构是所有资源加载完成后的最终结构，而read_html直接请求的是初始静态HTML，两者的节点层级、数量经常存在差异，依赖固定层级序号的绝对XPath自然会匹配失效。
• 绝对路径依赖固定节点序号：你使用的XPath里大量使用div[1]、div[5]这类按顺序匹配的规则，只要同层级下多插入1个其他节点，原本的序号就会整体偏移，导致路径指向不存在的节点。
• 网站前端迭代调整：如果平台对页面布局做了小的调整（比如嵌套层级修改、容器位置调换），哪怕功能没有变化，绝对路径XPath也会直接失效。

优化建议 #

你可以更换为基于属性的相对路径XPath来提升稳定性，比如先定位到海报列表的容器，再匹配下属的标题元素，示例逻辑如下：

library(rvest)
url   <- "https://www.aiche.org/academy/conferences/synthetic-biology-engineering-evolution-design-seed/2021/proceeding/session/poster-presenters-accepted"
# 替换为匹配海报标题的相对XPath，根据页面实际属性调整即可
xpath <- "//div[contains(@class, 'poster-item')]//a[contains(@href, '/proceeding/paper/')]"

url %>%
  read_html() %>%
  html_element(xpath = xpath) %>%
  html_text()

内容的提问来源于stack exchange，提问作者Marco