You need to enable JavaScript to run this app. 如何使用Selenium正确爬取目标页面的实际会话名称字段
优惠活动
大模型
产品
解决方案
定价
更多

如何使用Selenium正确爬取目标页面的实际会话名称字段

问题定位

当前代码只能输出固定静态文本"SESSION"、无法获取真实会话值的核心原因:

  • 会话元素的XPath缺少当前节点相对匹配前缀。定位表达式//div[@class='record__meta__title']是从整个网页根节点开始全局匹配,没有限定在当前循环的单条记录(product节点)内部查找,每轮循环都会匹配到页面顶部固定的"SESSION"表头文本,不会取到当前条目对应的会话实际内容。
  • 部分定位逻辑使用了Selenium废弃的旧API。代码中调用的find_element_by_xpath是早期版本的非推荐接口,和已经导入的By类定位逻辑不统一,容易出现元素匹配范围偏差。
修复方案

调整两处核心逻辑即可正常抓取:

  • 为循环内的所有元素定位XPath增加.前缀,明确限定为在当前循环的product节点内部做相对匹配,避免全局匹配到页面表头的静态文本。
  • 统一使用和By类接口匹配的新版定位方法,同时增加简单容错逻辑,避免个别条目缺失字段导致程序中断。
修复后可运行代码
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
wait = WebDriverWait(driver, 70)

driver.get('https://meetinglibrary.asco.org/results?filters=JTVCJTdCJTIyZmllbGQlMjIlM0ElMjJmY3RNZWV0aW5nTmFtZSUyMiUyQyUyMnZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJxdWVyeVZhbHVlJTIyJTNBJTIyQVNDTyUyMEFubnVhbCUyME1lZXRpbmclMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMCUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIwJTIyJTdEJTJDJTdCJTIyZmllbGQlMjIlM0ElMjJZZWFyJTIyJTJDJTIydmFsdWUlMjIlM0ElMjIyMDIxJTIyJTJDJTIycXVlcnlWYWx1ZSUyMiUzQSUyMjIwMjElMjIlMkMlMjJjaGlsZHJlbiUyMiUzQSU1QiU1RCUyQyUyMmluZGV4JTIyJTNBMSUyQyUyMm5lc3RlZFBhdGglMjIlM0ElMjIxJTIyJTdEJTVE')

productList = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//div[@class='record']")))
for product in productList:
    author = product.find_element(By.XPATH, ".//div[@class='record__ellipsis']").text.strip()
    # 相对路径匹配会话字段,加容错防止空值报错
    try:
        session = product.find_element(By.XPATH, ".//div[@class='record__meta__title']").text.strip()
    except:
        session = "无匹配会话信息"
    print(f"作者信息:{author} | 所属会话:{session}")

driver.quit()

内容的提问来源于stack exchange,提问作者Void S

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.23 09:06:03