Jsoup select方法传入与谷歌审查元素一致查询串返回null问题

问题成因 #

• 核心差异是浏览器和Jsoup获取的DOM结构不一致：Chrome开发者工具里看到的是页面加载完成、JavaScript执行完毕后的最终渲染DOM，而Jsoup默认仅请求并解析静态HTML源码，不会执行页面内的JS代码。如果目标节点是页面加载完成后通过JS动态插入的，Jsoup拿到的静态源码里根本不存在该节点，自然匹配不到。
• User-Agent或反爬策略导致返回内容不同：站点会针对不同请求头返回不同的页面结构，Jsoup默认的请求头很容易被识别为爬虫，返回简化版、无目标内容的页面，结构和你浏览器访问拿到的完全不同。
• nth-child选择器稳定性极差：这类依赖元素位置顺序的选择器受页面结构变动影响极大，哪怕静态页面里多了一个空白文本节点、或者JS增删了前面的同级元素，都会导致原本匹配的nth-child(4)定位不到目标元素。

解决方法 #

• 第一步先校验静态源码结构：先打印Jsoup拿到的页面内容，和浏览器右键「查看网页源代码」（注意不是F12的元素面板）的内容做对比，确认目标节点是否存在于静态源码中。
  System.out.println(upgradedItem.html());
• 替换掉不稳定的nth-child选择器：优先用类名、属性、内容特征做选择器，比如如果目标div有特定class属性，直接用类选择器匹配，不要依赖元素顺序。
• 补充请求头模拟正常浏览器访问：给Jsoup请求加上和你浏览器一致的User-Agent、Referer等头，避免被反爬策略拦截，示例代码如下：

Document upgradedItem = Jsoup.connect("https://dota2.fandom.com/wiki/Items")
    .userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
    .referrer("https://dota2.fandom.com")
    .get();

• 若确认是JS动态生成的内容：如果静态源码里找不到目标节点，说明需要执行JS才能拿到内容，要么抓包找站点的后台数据接口直接请求JSON数据，要么换用支持JS渲染的工具（如Selenium、Playwright、HtmlUnit）替代Jsoup爬取。

内容的提问来源于stack exchange，提问作者forsen