使用Python Selenium爬取推特话题页的滚动加载问题求助

以下是几个实用的优化方案，解决你遇到的滚动后仅加载少量推文的问题：

1. 分段滚动而非直接滚到底部 #

直接滚动到页面底部的方式会触发推特懒加载机制仅加载少量内容，改成每次滚动固定高度，给页面足够时间加载新推文：

import time
from selenium import webdriver

driver = webdriver.Chrome(options=your_options)
driver.get("你的话题标签页面URL")

# 根据需求调整滚动次数
scroll_times = 20
for _ in range(scroll_times):
    # 每次向下滚动1000像素
    driver.execute_script("window.scrollBy(0, 1000);")
    # 等待1秒让内容加载，可根据网络情况调整时长
    time.sleep(1)
    # 执行你的推文抓取逻辑（利用已有的去重机制）

2. 滚动到最后一条已加载推文位置触发加载 #

这种方式更贴合推特的加载逻辑，每次滚动到当前最后一条推文的位置，精准触发懒加载：

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 初始化driver...

while True:
    # 根据推特实际HTML结构调整选择器，示例为推文的常用测试ID
    tweets = driver.find_elements(By.CSS_SELECTOR, "div[data-testid='tweet']")
    if not tweets:
        break
    # 滚动到最后一条推文
    last_tweet = tweets[-1]
    driver.execute_script("arguments[0].scrollIntoView({block: 'end', behavior: 'smooth'});", last_tweet)
    # 显式等待新推文加载，比固定sleep更高效
    try:
        WebDriverWait(driver, 5).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, f"div[data-testid='tweet']:nth-child({len(tweets)+1})"))
        )
    except:
        # 无新推文加载时退出循环
        break
    # 执行抓取和去重逻辑

3. 调整无头模式窗口大小（GCP VM适用） #

虽然无法调整VM的屏幕分辨率，但可以在初始化Chrome Driver时设置窗口大小，让无头模式下单次显示更多推文：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--headless=new")
# 设置窗口为1920x1080，提升单次加载的推文数量
options.add_argument("window-size=1920,1080")
driver = webdriver.Chrome(options=options)

关于箭头按键方案的建议 #

不推荐持续按向下箭头的方式，确实会大幅降低爬取效率。如果一定要用，可以结合批量按键（比如一次按5次）+ 等待，但效率仍远不如上述滚动方案。

内容的提问来源于stack exchange，提问作者Kevin7727