如何使用Selenium正确爬取目标页面的实际会话名称字段
问题定位
当前代码只能输出固定静态文本"SESSION"、无法获取真实会话值的核心原因:
- 会话元素的XPath缺少当前节点相对匹配前缀。定位表达式
//div[@class='record__meta__title']是从整个网页根节点开始全局匹配,没有限定在当前循环的单条记录(product节点)内部查找,每轮循环都会匹配到页面顶部固定的"SESSION"表头文本,不会取到当前条目对应的会话实际内容。 - 部分定位逻辑使用了Selenium废弃的旧API。代码中调用的
find_element_by_xpath是早期版本的非推荐接口,和已经导入的By类定位逻辑不统一,容易出现元素匹配范围偏差。
修复方案
调整两处核心逻辑即可正常抓取:
- 为循环内的所有元素定位XPath增加
.前缀,明确限定为在当前循环的product节点内部做相对匹配,避免全局匹配到页面表头的静态文本。 - 统一使用和
By类接口匹配的新版定位方法,同时增加简单容错逻辑,避免个别条目缺失字段导致程序中断。
修复后可运行代码
from selenium.webdriver.common.by import By from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() wait = WebDriverWait(driver, 70) driver.get('https://meetinglibrary.asco.org/results?filters=JTVCJTdCJTIyZmllbGQlMjIlM0ElMjJmY3RNZWV0aW5nTmFtZSUyMiUyQyUyMnZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJxdWVyeVZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMCUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIwJTIyJTdEJTJDJTdCJTIyZmllbGQlMjIlM0ElMjJZZWFyJTIyJTJDJTIydmFsdWUlMjIlM0ElMjIyMDIxJTIyJTJDJTIycXVlcnlWYWx1ZSUyMiUzQSUyMjIwMjElMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMSUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIxJTIyJTdEJTVE') productList = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//div[@class='record']"))) for product in productList: author = product.find_element(By.XPATH, ".//div[@class='record__ellipsis']").text.strip() # 相对路径匹配会话字段,加容错防止空值报错 try: session = product.find_element(By.XPATH, ".//div[@class='record__meta__title']").text.strip() except: session = "无匹配会话信息" print(f"作者信息:{author} | 所属会话:{session}") driver.quit()
内容的提问来源于stack exchange,提问作者Void S
相关产品推荐
相关产品推荐

