You need to enable JavaScript to run this app. 如何用Ruby Selenium/Nokogiri获取JS生成的锚点href文本值?
优惠活动
大模型
产品
解决方案
定价
更多

如何用Ruby Selenium/Nokogiri获取JS生成的锚点href文本值?

空值问题的核心根因

  1. CSS选择器语法完全错误
    你写的row.css('colREF nobr a href')存在三处匹配偏差:
    • colREF是元素的id属性,CSS选择器需要加#前缀才能匹配,直接写colREF会被当作标签名查找<colREF>节点,根本匹配不到
    • 你给出的实际HTML结构里不存在nobr标签,属于选择器里多写的不存在的层级
    • href是<a>标签的属性,不是DOM节点,不能作为选择器的层级路径
      因为Nokogiri匹配不到任何节点时调用.text会直接返回空字符串、不会抛错,所以代码运行时不会提示选择器错误,只会输出大量空值。
  2. 等待逻辑时序颠倒
    你把sleep 7放在了获取rows数组、执行each循环的前面,此时如果页面异步渲染未完成,拿到的rows本身就是不完整的空集合,后续循环自然无法匹配到有效内容。

修正实现方案

方案1:保留Nokogiri解析的写法

调整逻辑顺序、修正选择器,匹配实际DOM结构:

# 前置逻辑:Selenium登录、初始化driver
driver.get 'http://riviera.prescripteurs.axessia.net/common/code/b2c/prd_b2c.asp?prd_PageSize=200'

# 先等页面核心内容渲染完成,再取源码解析
sleep 7
doc = Nokogiri::HTML(driver.page_source)
appartments = []

# 直接匹配所有tr节点(老站点常由浏览器自动补全tbody,直接选tr兼容性更好)
rows = doc.css('tr')
rows.each do |row|
  # 匹配当前行下id为colREF的td内的a标签,加存在性判断避免异常
  ref_node = row.at_css('td#colREF a')
  ref = ref_node ? ref_node.text.strip : ''
  appartments << { reference: ref }
end

p appartments

关键调整点:

  • 把等待逻辑移到获取DOM源码之前,保证拿到的是渲染完成的完整页面内容
  • 用at_css代替css,匹配到第一个目标节点就返回,避免返回节点数组后拼接文本的问题
  • 去掉所有不存在的选择器层级,用td#colREF a精准匹配你给出的DOM结构

方案2:纯Selenium实现(更稳定,推荐)

不用转Nokogiri解析源码,直接通过Selenium定位动态渲染的DOM,避免页面和解析不同步的问题:

require 'selenium-webdriver'

# 初始化driver、登录逻辑省略
driver.get 'http://riviera.prescripteurs.axessia.net/common/code/b2c/prd_b2c.asp?prd_PageSize=200'

# 显式等待:最多等15秒直到目标元素出现,比固定sleep稳定性更高
wait = Selenium::WebDriver::Wait.new(timeout: 15)
wait.until { driver.find_elements(css: 'tr td#colREF a').any? }

appartments = []
# 直接定位所有目标a标签,取文本值
driver.find_elements(css: 'tr td#colREF a').each do |ref_el|
  appartments << { reference: ref_el.text.strip }
end

p appartments

注意:老版本ASP站点常存在浏览器自动补全DOM标签的情况(比如自动加tbody、补全闭合标签),写选择器时不要默认依赖这些浏览器自动生成的结构,优先匹配服务端实际输出的DOM节点。


内容的提问来源于stack exchange,提问作者David Layec

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 22:15:08