如何用Selenium Python抓取论坛页面中所有懒加载回帖内容？

你的问题确实源于论坛回帖的懒加载机制——只有当元素进入视口范围时才会被渲染加载。直接滚动到页面底部会跳过中间未加载的回帖，因此需要逐步滚动+等待加载的方式来获取所有内容。

下面是修改后的代码，实现逐步滚动并等待新回帖加载，直到获取全部内容：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time

options = Options()
options.add_argument("start-maximized")

webdriver_service = Service('C:\webdrivers\chromedriver.exe')
driver = webdriver.Chrome(options=options, service=webdriver_service)
wait = WebDriverWait(driver, 10)

url = "https://www.thestudentroom.co.uk/showthread.php?t=7263973"
driver.get(url)

# 等待首帖加载完成
wait.until(EC.visibility_of_element_located((By.XPATH, "//div[contains(@class,'styles__PostContent')]/span")))

post_count = 0
while True:
    # 获取当前所有已加载的回帖（确保元素可见）
    posts = wait.until(EC.visibility_of_all_elements_located((By.XPATH, "//div[contains(@class,'styles__PostContent')]/span")))
    current_count = len(posts)
    
    # 如果帖子数量不再增加，说明所有内容已加载完成
    if current_count == post_count:
        break
    
    post_count = current_count
    # 滚动到最后一个已加载回帖，触发懒加载
    last_post = posts[-1]
    driver.execute_script("arguments[0].scrollIntoView({behavior: 'smooth', block: 'end'});", last_post)
    # 留足加载时间，可根据网络速度调整
    time.sleep(2)

# 遍历打印所有回帖内容
for post in posts:
    print(post.text)

driver.quit()

关键逻辑说明 #

• 循环检测帖子数量：通过对比滚动前后的回帖数量，判断是否还有新内容需要加载，避免无限循环。
• 触发懒加载的滚动方式：使用scrollIntoView滚动到当前最后一个回帖，模拟正常浏览行为，触发页面加载后续内容。
• 可见性等待：用visibility_of_all_elements_located替代presence_of_all_elements_located，确保元素不仅存在于DOM中，还已渲染可见，避免获取空内容。
• 加载等待时长：time.sleep(2)给页面留出加载新内容的时间，可根据实际网络速度调整，也可以替换为等待新元素出现的显式等待逻辑。

内容的提问来源于stack exchange，提问作者Kusanagi