Selenium WebDriver中send_keys请求间添加延迟的问题求助

问题根源 #

你一次性发送500次TAB按键（send_keys(Keys.TAB * 500)）时，浏览器会批量处理这些输入，根本来不及触发每个TAB对应的区块加载逻辑，自然拿不到完整的page_source。之前加time.sleep没效果，大概率是你没把等待逻辑拆到每次TAB操作之后。

可行解决方案 #

1. 拆分TAB操作+逐次等待

把一次性按500次TAB拆成循环执行，每次按完TAB后等待一段短时间，给页面足够的加载时间：

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# 定位初始元素
start_elem = browser.find_element(By.ID, 'multi-selector-checkbox-ember44')

# 循环执行TAB操作
for _ in range(500):
    start_elem.send_keys(Keys.TAB)
    # 调整等待时间，0.1-0.5秒都可以，根据页面加载速度来
    time.sleep(0.2)

2. 用智能等待替代固定sleep（更可靠）

如果页面有加载动画或特定元素标识加载状态，可以用WebDriverWait等待加载完成后再继续，避免不必要的等待：

from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

start_elem = browser.find_element(By.ID, 'multi-selector-checkbox-ember44')

for _ in range(500):
    start_elem.send_keys(Keys.TAB)
    # 等待加载动画消失（替换成你页面的加载元素选择器）
    try:
        WebDriverWait(browser, 3).until(
            EC.invisibility_of_element_located((By.CSS_SELECTOR, '.loading-animation'))
        )
    except:
        # 没检测到加载动画就直接继续，不阻塞流程
        continue

3. 改用滚动页面触发加载（更贴合多数网站逻辑）

很多网站的动态加载是基于滚动位置触发的，比起TAB遍历元素，直接滚动到区块或页面底部更高效：

import time

# 滚动到页面底部，直到没有新内容加载
def load_all_content():
    last_scroll_height = browser.execute_script("return document.body.scrollHeight")
    while True:
        # 滚动到当前页面底部
        browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(0.5)
        # 获取新的滚动高度
        new_scroll_height = browser.execute_script("return document.body.scrollHeight")
        # 高度不变说明没有新内容了，退出循环
        if new_scroll_height == last_scroll_height:
            break
        last_scroll_height = new_scroll_height

load_all_content()

如果是区块式加载，可以逐个滚动到每个区块位置：

import time

# 定位所有需要加载的区块（替换成你页面的区块选择器）
blocks = browser.find_elements(By.CSS_SELECTOR, '.target-block-class')

for block in blocks:
    # 滚动到当前区块可见位置
    browser.execute_script("arguments[0].scrollIntoView({behavior: 'smooth'});", block)
    time.sleep(0.3)

内容的提问来源于stack exchange，提问作者Dosto