优化Selenium爬虫代码实现全量采集议程含折叠行条目
全量议程爬取优化实现
原代码运行异常的核心原因
- 采用硬编码的绝对XPath定位,写死路径匹配议程列表下第一层第一个子元素,永远只会抓到第一行内容
- 未处理带右上角箭头的折叠条目,这类条目点击后才会展示的子内容根本没有加载到页面DOM中,自然无法被抓取
- 靠固定时长
sleep等待页面加载,极易出现元素还未渲染完成就执行操作的报错,稳定性差 - 冗余代码占比高:登录前反复获取页面源码、导入BeautifulSoup但全程未使用,属于完全无效的逻辑
- 仅实现单个元素定位,没有遍历全量条目的逻辑
核心优化逻辑
- 遍历识别页面所有折叠触发按钮,将按钮滚动到可视区域后逐个点击展开,确保所有隐藏的子条目都渲染到页面DOM中
- 放弃写死层级的绝对XPath,改用相对CSS选择器定位所有议程条目容器,循环逐个提取标题、时间字段
- 用Selenium自带的显式等待替代固定
sleep,既减少无意义的等待时间,又能避免元素未加载完成就操作的报错 - 自动跳过已处于展开状态的折叠按钮,避免重复点击导致展开的条目被收起,或触发页面异常
可直接运行的优化后代码
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import pandas as pd import time driver = webdriver.Chrome() # 配置隐式等待,元素找不到时最多等待10秒 driver.implicitly_wait(10) wait = WebDriverWait(driver, 15) driver.get('https://sobp.societyconference.com/conf/#sessions/conf10007') # 等待登录输入框加载完成再开始操作 wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="txt-home-login-email"]'))) # 保留已验证可用的登录流程,删除无效的源码获取逻辑 userid = driver.find_element(By.XPATH, '//*[@id="txt-home-login-email"]') userid.send_keys('kbradons04@gmail.com') password = driver.find_element(By.XPATH, '//*[@id="txt-home-login-password"]') password.send_keys('Test123') submit = driver.find_element(By.XPATH, '//*[@id="btn-home-login"]') submit.click() # 等待地址确认弹窗加载完成,自动点击确认 wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="btn-confirm-address"]'))).click() # 点击导航栏议程入口 wait.until(EC.element_to_be_clickable((By.XPATH, '//*[@id="app-navigation"]/div[3]'))).click() # 等待议程列表容器加载完成 wait.until(EC.presence_of_element_located((By.ID, 'list-agenda'))) time.sleep(2) # 短暂等待列表初始渲染,避免漏抓第一波元素 # 第一步:展开所有带箭头的折叠条目 toggle_buttons = driver.find_elements(By.CSS_SELECTOR, "#list-agenda .agenda-row__toggle") for btn in toggle_buttons: try: # 把按钮滚动到视口中心,避免元素在屏幕外无法点击 driver.execute_script("arguments[0].scrollIntoView({block: 'center'});", btn) wait.until(EC.element_to_be_clickable(btn)) btn.click() time.sleep(0.5) # 等待展开的子条目渲染完成 except: # 跳过已经展开、无法点击的按钮,不中断整体流程 continue # 第二步:全量提取所有条目数据 agenda_rows = driver.find_elements(By.CSS_SELECTOR, "#list-agenda .agenda-row") agenda_data = [] for row in agenda_rows: try: time_info = row.find_element(By.CSS_SELECTOR, ".agenda-row__time").text.strip() title_info = row.find_element(By.CSS_SELECTOR, ".agenda-row__title").text.strip() agenda_data.append({ "时间": time_info, "标题": title_info }) except: # 跳过没有标题/时间字段的容器元素,不中断抓取流程 continue # 输出结果,可直接导出为表格 df = pd.DataFrame(agenda_data) print(df) # 如需导出文件可取消下面注释 # df.to_excel("全量议程数据.xlsx", index=False)
适配说明
如果实际运行时发现选择器匹配不到元素,可以打开浏览器开发者工具,检查议程条目、折叠按钮、时间、标题字段的实际类名,替换代码中对应的CSS选择器即可,整体的“展开折叠条目+遍历全量提取”逻辑是通用的。
内容的提问来源于stack exchange,提问作者Void S
相关产品推荐
相关产品推荐

