如何用Ruby Selenium/Nokogiri获取JS生成的锚点href文本值?
空值问题的核心根因
- CSS选择器语法完全错误
你写的row.css('colREF nobr a href')存在三处匹配偏差:colREF是元素的id属性,CSS选择器需要加#前缀才能匹配,直接写colREF会被当作标签名查找<colREF>节点,根本匹配不到- 你给出的实际HTML结构里不存在
nobr标签,属于选择器里多写的不存在的层级 href是<a>标签的属性,不是DOM节点,不能作为选择器的层级路径
因为Nokogiri匹配不到任何节点时调用.text会直接返回空字符串、不会抛错,所以代码运行时不会提示选择器错误,只会输出大量空值。
- 等待逻辑时序颠倒
你把sleep 7放在了获取rows数组、执行each循环的前面,此时如果页面异步渲染未完成,拿到的rows本身就是不完整的空集合,后续循环自然无法匹配到有效内容。
修正实现方案
方案1:保留Nokogiri解析的写法
调整逻辑顺序、修正选择器,匹配实际DOM结构:
# 前置逻辑:Selenium登录、初始化driver driver.get 'http://riviera.prescripteurs.axessia.net/common/code/b2c/prd_b2c.asp?prd_PageSize=200' # 先等页面核心内容渲染完成,再取源码解析 sleep 7 doc = Nokogiri::HTML(driver.page_source) appartments = [] # 直接匹配所有tr节点(老站点常由浏览器自动补全tbody,直接选tr兼容性更好) rows = doc.css('tr') rows.each do |row| # 匹配当前行下id为colREF的td内的a标签,加存在性判断避免异常 ref_node = row.at_css('td#colREF a') ref = ref_node ? ref_node.text.strip : '' appartments << { reference: ref } end p appartments
关键调整点:
- 把等待逻辑移到获取DOM源码之前,保证拿到的是渲染完成的完整页面内容
- 用
at_css代替css,匹配到第一个目标节点就返回,避免返回节点数组后拼接文本的问题 - 去掉所有不存在的选择器层级,用
td#colREF a精准匹配你给出的DOM结构
方案2:纯Selenium实现(更稳定,推荐)
不用转Nokogiri解析源码,直接通过Selenium定位动态渲染的DOM,避免页面和解析不同步的问题:
require 'selenium-webdriver' # 初始化driver、登录逻辑省略 driver.get 'http://riviera.prescripteurs.axessia.net/common/code/b2c/prd_b2c.asp?prd_PageSize=200' # 显式等待:最多等15秒直到目标元素出现,比固定sleep稳定性更高 wait = Selenium::WebDriver::Wait.new(timeout: 15) wait.until { driver.find_elements(css: 'tr td#colREF a').any? } appartments = [] # 直接定位所有目标a标签,取文本值 driver.find_elements(css: 'tr td#colREF a').each do |ref_el| appartments << { reference: ref_el.text.strip } end p appartments
注意:老版本ASP站点常存在浏览器自动补全DOM标签的情况(比如自动加tbody、补全闭合标签),写选择器时不要默认依赖这些浏览器自动生成的结构,优先匹配服务端实际输出的DOM节点。
内容的提问来源于stack exchange,提问作者David Layec
相关产品推荐
相关产品推荐

