You need to enable JavaScript to run this app. 优化Selenium爬虫代码实现全量采集议程含折叠行条目
优惠活动
大模型
产品
解决方案
定价
更多

优化Selenium爬虫代码实现全量采集议程含折叠行条目

全量议程爬取优化实现

原代码运行异常的核心原因

  • 采用硬编码的绝对XPath定位,写死路径匹配议程列表下第一层第一个子元素,永远只会抓到第一行内容
  • 未处理带右上角箭头的折叠条目,这类条目点击后才会展示的子内容根本没有加载到页面DOM中,自然无法被抓取
  • 靠固定时长sleep等待页面加载,极易出现元素还未渲染完成就执行操作的报错,稳定性差
  • 冗余代码占比高:登录前反复获取页面源码、导入BeautifulSoup但全程未使用,属于完全无效的逻辑
  • 仅实现单个元素定位,没有遍历全量条目的逻辑

核心优化逻辑

  • 遍历识别页面所有折叠触发按钮,将按钮滚动到可视区域后逐个点击展开,确保所有隐藏的子条目都渲染到页面DOM中
  • 放弃写死层级的绝对XPath,改用相对CSS选择器定位所有议程条目容器,循环逐个提取标题、时间字段
  • 用Selenium自带的显式等待替代固定sleep,既减少无意义的等待时间,又能避免元素未加载完成就操作的报错
  • 自动跳过已处于展开状态的折叠按钮,避免重复点击导致展开的条目被收起,或触发页面异常

可直接运行的优化后代码

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import pandas as pd
import time

driver = webdriver.Chrome()
# 配置隐式等待,元素找不到时最多等待10秒
driver.implicitly_wait(10)
wait = WebDriverWait(driver, 15)

driver.get('https://sobp.societyconference.com/conf/#sessions/conf10007')
# 等待登录输入框加载完成再开始操作
wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="txt-home-login-email"]')))

# 保留已验证可用的登录流程,删除无效的源码获取逻辑
userid = driver.find_element(By.XPATH, '//*[@id="txt-home-login-email"]')
userid.send_keys('kbradons04@gmail.com')
password = driver.find_element(By.XPATH, '//*[@id="txt-home-login-password"]')
password.send_keys('Test123')
submit = driver.find_element(By.XPATH, '//*[@id="btn-home-login"]')
submit.click()

# 等待地址确认弹窗加载完成,自动点击确认
wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="btn-confirm-address"]'))).click()

# 点击导航栏议程入口
wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="app-navigation"]/div[3]'))).click()
# 等待议程列表容器加载完成
wait.until(EC.presence_of_element_located((By.ID, 'list-agenda')))
time.sleep(2)  # 短暂等待列表初始渲染,避免漏抓第一波元素

# 第一步:展开所有带箭头的折叠条目
toggle_buttons = driver.find_elements(By.CSS_SELECTOR, "#list-agenda .agenda-row__toggle")
for btn in toggle_buttons:
    try:
        # 把按钮滚动到视口中心,避免元素在屏幕外无法点击
        driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", btn)
        wait.until(EC.element_to_be_clickable(btn))
        btn.click()
        time.sleep(0.5)  # 等待展开的子条目渲染完成
    except:
        # 跳过已经展开、无法点击的按钮,不中断整体流程
        continue

# 第二步:全量提取所有条目数据
agenda_rows = driver.find_elements(By.CSS_SELECTOR, "#list-agenda .agenda-row")
agenda_data = []
for row in agenda_rows:
    try:
        time_info = row.find_element(By.CSS_SELECTOR, ".agenda-row__time").text.strip()
        title_info = row.find_element(By.CSS_SELECTOR, ".agenda-row__title").text.strip()
        agenda_data.append({
            "时间": time_info,
            "标题": title_info
        })
    except:
        # 跳过没有标题/时间字段的容器元素,不中断抓取流程
        continue

# 输出结果,可直接导出为表格
df = pd.DataFrame(agenda_data)
print(df)
# 如需导出文件可取消下面注释
# df.to_excel("全量议程数据.xlsx", index=False)

适配说明

如果实际运行时发现选择器匹配不到元素,可以打开浏览器开发者工具,检查议程条目、折叠按钮、时间、标题字段的实际类名,替换代码中对应的CSS选择器即可,整体的“展开折叠条目+遍历全量提取”逻辑是通用的。


内容的提问来源于stack exchange,提问作者Void S

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 10:27:03