使用Selenium无法爬取网站指定字段文本,附代码求修正方案
问题原因
- XPath拼接顺序错误:你当前将字段节点路径拼接在父容器路径之前,生成的路径不符合DOM父子嵌套规则,父容器
se-siteDetailsPanel-panel是所有字段节点的上级,正确逻辑是父容器路径在前,子字段路径在后。 - 未处理异步加载:这类站点的详情数据多为异步渲染,直接调用元素查找方法会在节点加载完成前执行,触发找不到元素的报错。
- 取值方法兼容性差:
text属性只能获取元素直接包含的可见文本,如果字段文本嵌套在子标签内、或者元素处于隐藏状态,会返回空值。 - 旧API废弃:你使用的
find_element_by_xpath方法在Selenium 4.0+版本已经被移除,会直接报错。
修正后代码
from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 定义父容器路径和最长等待时间 parent_xpath = "//div[@id='se-siteDetailsPanel-panel']" wait = WebDriverWait(browser, 10) site_data = [] # 站点名称 name_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-name']"))) site_data.append(name_ele.get_attribute('textContent').strip()) # 地址 adrs1_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-firstAddress']"))) adrs2_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-address']"))) address = adrs1_ele.get_attribute('textContent').strip() + adrs2_ele.get_attribute('textContent').strip() site_data.append(address) # 安装日期 install_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-installationDate']"))) site_data.append(install_ele.get_attribute('textContent').strip()) # 最后更新时间 update_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-lastUpdateTime']"))) site_data.append(update_ele.get_attribute('textContent').strip()) # 峰值功率 peak_ele = wait.until(EC.presence_of_element_located((By.XPATH, f"{parent_xpath}//div[@id='se-siteDetailsPanel-peakPower']"))) peak_val = peak_ele.get_attribute('textContent').strip() site_data.append(peak_val.split()[0])
内容的提问来源于stack exchange,提问作者gmm005
相关产品推荐
相关产品推荐

