You need to enable JavaScript to run this app. 使用Selenium无法爬取网站指定字段文本,附代码求修正方案
优惠活动
大模型
产品
解决方案
定价
更多

使用Selenium无法爬取网站指定字段文本,附代码求修正方案

问题原因

  • XPath拼接顺序错误:你当前将字段节点路径拼接在父容器路径之前,生成的路径不符合DOM父子嵌套规则,父容器se-siteDetailsPanel-panel是所有字段节点的上级,正确逻辑是父容器路径在前,子字段路径在后。
  • 未处理异步加载:这类站点的详情数据多为异步渲染,直接调用元素查找方法会在节点加载完成前执行,触发找不到元素的报错。
  • 取值方法兼容性差:text属性只能获取元素直接包含的可见文本,如果字段文本嵌套在子标签内、或者元素处于隐藏状态,会返回空值。
  • 旧API废弃:你使用的find_element_by_xpath方法在Selenium 4.0+版本已经被移除,会直接报错。

修正后代码

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 定义父容器路径和最长等待时间
parent_xpath = "//div[@id='se-siteDetailsPanel-panel']"
wait = WebDriverWait(browser, 10)
site_data = []

# 站点名称
name_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-name']")))
site_data.append(name_ele.get_attribute('textContent').strip())

# 地址
adrs1_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-firstAddress']")))
adrs2_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-address']")))
address = adrs1_ele.get_attribute('textContent').strip() + adrs2_ele.get_attribute('textContent').strip()
site_data.append(address)

# 安装日期
install_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-installationDate']")))
site_data.append(install_ele.get_attribute('textContent').strip())

# 最后更新时间
update_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-lastUpdateTime']")))
site_data.append(update_ele.get_attribute('textContent').strip())

# 峰值功率
peak_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-peakPower']")))
peak_val = peak_ele.get_attribute('textContent').strip()
site_data.append(peak_val.split()[0])

内容的提问来源于stack exchange,提问作者gmm005

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.12 08:18:01