使用Selenium抓取genios.de动态内容的效率优化问询

• 强制移除旧预览内容元素
  每次点击新板块前，定位页面上的旧预览容器（比如通过类名或ID，示例假设容器为div.preview-container），用JavaScript直接从DOM中删除，避免旧元素堆积拖慢后续操作：

  # 定位并删除旧预览容器
  old_preview = driver.find_elements(By.CSS_SELECTOR, "div.preview-container")
  if old_preview:
      driver.execute_script("arguments[0].remove();", old_preview[0])
  

• 关闭模态预览窗口后再操作
  如果预览是模态弹窗，处理完当前内容后必须点击弹窗的关闭按钮（比如带close类的按钮），确保弹窗完全销毁：

  # 处理完内容后关闭弹窗
  close_btn = WebDriverWait(driver, 10).until(
      EC.element_to_be_clickable((By.CSS_SELECTOR, "button.close-preview"))
  )
  close_btn.click()
  # 等待弹窗完全消失
  WebDriverWait(driver, 10).until(
      EC.invisibility_of_element_located((By.CSS_SELECTOR, "div.modal-preview"))
  )
  

• 等待页面状态重置后再点击新板块
  点击新板块前，等待旧内容的加载状态标记消失（比如加载动画的CSS类），确保页面处于就绪状态：

  # 等待旧内容加载状态结束
  WebDriverWait(driver, 10).until(
      EC.invisibility_of_element_located((By.CSS_SELECTOR, "div.loading-indicator"))
  )
  # 点击目标板块
  new_section = driver.find_element(By.LINK_TEXT, "目标板块名称")
  new_section.click()
  

• 用JavaScript直接触发板块切换
  部分网站的板块点击事件会绑定在元素上，直接用JS触发点击可绕过页面的冗余渲染逻辑，同时强制内容替换而非追加：

  # 定位目标板块元素并通过JS触发点击
  section_element = driver.find_element(By.CSS_SELECTOR, "a.section-link[data-id='目标ID']")
  driver.execute_script("arguments[0].click();", section_element)
  # 等待新内容完全加载
  WebDriverWait(driver, 10).until(
      EC.visibility_of_element_located((By.CSS_SELECTOR, "div.new-preview-content"))
  )
  

这些方法无需刷新页面，通过直接操作DOM或等待页面状态，避免旧内容堆积导致的性能下降。

内容的提问来源于stack exchange，提问作者StativBus