Python中使用xpath/lxml提取双引号包裹HTML div内#text内容异常问题

尝试使用Python提取对应Yahoo Finance基金页面的基金摘要（Fund Summary）板块文本，此前使用XPath搭配text()方法的提取逻辑一直运行正常，但针对该板块提取时始终返回空数组。目前已经测试过两种XPath写法，均没有匹配到目标内容：

• 第一种写法（直接从浏览器元素检查工具复制的节点路径）：tree.xpath("//*[@id='Col2-4-QuoteModule-Proxy']/div/div/div/text()")
• 第二种写法（按板块自定义属性定位）：tree.xpath('//*[@data-yaft-module="tdv2-applet-fundSummary"]/div/div/text()')
  核心疑惑为：直接从浏览器复制的节点路径，是否因为文本节点的定位规则存在特殊要求，导致无法选中目标内容？

• 基础语法校验：第一条XPath写法存在格式错误，路径末尾多了多余的右括号，先修正基础语法问题再重新测试匹配
• 明确DOM匹配差异：从浏览器元素检查工具复制的路径，匹配的是浏览器完成JS动态渲染后的最终DOM结构，而Python请求拿到的是未经过前端渲染的初始静态HTML，这类动态站点的很多板块节点是JS运行后才插入到DOM中的，静态源码里根本不存在对应ID、属性的节点，自然会返回空匹配结果
• 文本定位规则调整：如果确认静态源码中存在目标板块的DOM节点，就不要只取节点直属的text()内容——很多时候板块文本被拆分到多层嵌套的span、p子节点中，直属text()只会拿到空值。可以改用两种XPath规则调整定位：
  • 匹配选中板块根节点后，用string()方法获取节点下所有层级的拼接文本，避免因为文本嵌套层级过深漏匹配
  • 搭配normalize-space()方法清洗文本前后的多余空白、换行符，提升提取结果的可用性
• 锚点选型优化：不要依赖动态生成的节点ID、自定义模块属性作为定位锚点，这类值会随前端版本迭代频繁变动。可以优先选择板块内固定不变的标题文本作为锚点，顺着相邻层级定位摘要文本块，稳定性会更高
• 前置校验：如果调整路径后依然返回空结果，需要先确认Python请求拿到的静态页面源码中是否真的存在目标文本——部分站点的反爬逻辑会在静态响应里把目标模块替换成占位标签，前端JS加载完成后才会填充真实业务文本，这种场景下纯静态XPath匹配无论如何调整路径都无法拿到内容

内容的提问来源于stack exchange，提问作者Reed