如何用Selenium获取弹窗内滚动加载的论坛一、二级评论数据？

• 切换弹窗上下文
  自定义DOM弹窗需先等待加载完成，若弹窗嵌套在iframe中，必须先切换到对应iframe：

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.support import expected_conditions as EC
  from selenium.webdriver.common.by import By
  import time
  
  wait = WebDriverWait(driver, 10)
  # 若弹窗在iframe内，先切换iframe
  # iframe = wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID, "弹窗iframe的ID")))
  # 等待弹窗加载完成
  popup = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "div[class*='popup-comment-container']")))
  

• 弹窗内滚动加载二级评论
  不能直接操作页面滚动，需定位弹窗的滚动容器（通常是带overflow: auto/scroll的div），循环滚动直到加载完毕：

  scroll_container = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "div.comment-list-scroll")))
  last_scroll_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container)
  
  while True:
      # 滚动到容器底部
      driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scroll_container)
      time.sleep(2)  # 等待JS加载新评论
      current_scroll_height = driver.execute_script("return arguments[0].scrollHeight", scroll_container)
      if current_scroll_height == last_scroll_height:
          break
      last_scroll_height = current_scroll_height
  

• 精准定位二级评论
  采用相对定位符，结合显式等待确保元素渲染完成，避免使用易失效的绝对Xpath：

  # 定位弹窗内所有二级评论
  sub_comments = wait.until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, ".popup-comment-container .sub-comment-item")))
  # 提取评论内容
  for comment in sub_comments:
      print(comment.text)
  

• 排查常见问题

  • 检查弹窗是否在iframe中：通过开发者工具确认元素层级，若嵌套iframe必须先切换上下文
  • 验证定位符唯一性：在开发者工具的控制台用document.querySelectorAll("你的CSS选择器")测试是否只匹配目标评论
  • 确认滚动容器：查看弹窗内元素的overflow属性，找到实际承载滚动的容器元素

内容的提问来源于stack exchange，提问作者Ypsxc111