使用Selenium爬取网页时无法获取目标文本值的问题排查求助

常见故障点与修正方式 #

• 绝对XPath定位失效
  遍历row元素时使用从html根节点出发的绝对XPath定位字段，路径不会随当前遍历的row节点动态偏移，永远只会匹配页面第一个row下的对应字段，其余所有row元素的定位结果都会偏移到无效位置，最终返回空值。
  修正方式：所有row内部的字段定位，使用./开头的、相对于当前row节点的相对XPath，不使用全路径绝对定位。
• 元素获取与显式等待逻辑顺序颠倒
  脚本先直接调用类名定位接口获取所有row元素，再设置显式等待校验元素加载，遇到异步渲染页面时，执行定位接口阶段DOM尚未插入任何row节点，拿到的是空元素列表；后续显式等待哪怕等到页面元素加载完成，遍历的对象仍是之前捕获的空列表，自然无有效内容返回。
  修正方式：将显式等待逻辑放在获取row元素之前，等待条件设置为“至少存在1个可见的class为row的节点”，等待通过后再重新调用定位接口获取row列表，不提前缓存元素引用。
• 跨iframe上下文未切换
  体育类实时比分站点通常会将比分模块嵌入独立iframe中，脚本直接在顶层文档节点下查找row元素时，无法定位到iframe内部的DOM结构，返回空元素列表，也不会抛出定位异常，表现为无报错但无内容输出。
  修正方式：在定位比分元素前，先通过frame定位方法切换到承载实时比分模块的iframe上下文，再执行后续提取操作。
• 文本渲染时机校验缺失
  动态比分页面会先插入空白DOM节点，等待接口数据返回后再填充节点内的文本值，如果在节点刚插入、文本尚未填充时就提取内容，会拿到空字符串，且不会触发等待超时。
  修正方式：显式等待的条件增加对目标字段文本非空的校验，确认节点text属性有有效内容后再执行提取。

内容的提问来源于stack exchange，提问作者Krishna Pal