两条Full XPath指向同一元素却失效？解析差异及原因

问题背景 #

我通过Chrome元素审查获取了CNBC黄金（XAU=）页面价格元素的Full XPath：/html/body/div[2]/div/div[1]/div[3]/div/div[2]/div[1]/div[2]/div[3]/div/div[2]/span[1]，此前用xidel工具执行相关命令能正常获取价格，但现在命令返回空输出。而另一条Full XPath：/html/body/div[2]/div/div[1]/div[3]/div/div/div[1]/div[2]/div[3]/div/div[2]/span[1]却能正常工作，两条路径指向同一元素（附XPath审查快照，展示了两条路径对应的页面结构）。

两条XPath的差异对比 #

直接对比两条路径的结构：

• 原路径：/html/body/div[2]/div/div[1]/div[3]/div/div[2]/div[1]/div[2]/div[3]/div/div[2]/span[1]
• 可用路径：/html/body/div[2]/div/div[1]/div[3]/div/div/div[1]/div[2]/div[3]/div/div[2]/span[1]

核心差异在第6层级：原路径用div[2]匹配该位置的第二个div元素，可用路径则用div（默认匹配第一个div元素）替代了div[2]。

失效原因分析 #

1. 页面DOM结构调整：CNBC网站大概率对页面布局做了小改动，原本在该层级的第二个div元素被移除、合并，或位置发生了偏移，导致原路径的div[2]无法匹配到任何元素。而新路径匹配的第一个div元素，刚好是当前页面中包裹目标价格元素的容器。
2. 动态渲染与静态抓取的差异：Chrome审查工具显示的是页面完全动态渲染后的DOM，但xidel抓取的可能是原始HTML或未完全渲染的版本，两者的DOM层级结构存在差异。原路径依赖的div[2]是动态加载生成的，xidel抓取时该元素还未出现；新路径对应的div则是原始HTML中就存在的节点，因此能正常匹配。
3. Full XPath的固有脆弱性：Full XPath完全依赖DOM的层级顺序，只要页面任何一层级的元素数量、顺序发生变化，路径就会失效。相比之下，基于元素属性的相对XPath稳定性要高得多。

优化方案 #

放弃使用脆弱的Full XPath，改用基于目标元素类名的相对路径，命令如下：

xidel -se '//span[@class="QuoteStrip-lastPrice"]' https://www.cnbc.com/quotes/XAU=

这条路径直接定位到带有QuoteStrip-lastPrice类的span元素，不受DOM层级变化影响，后续页面小调整也不会导致失效。

内容的提问来源于stack exchange，提问作者foopeen